CN111177785B

CN111177785B - 一种基于企业的业务系统的隐私数据的脱敏处理方法

Info

Publication number: CN111177785B
Application number: CN201911425887.8A
Authority: CN
Inventors: 吕丹
Original assignee: Guangdong Hongshu Technology Co ltd
Current assignee: Guangdong Hongshu Technology Co ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2023-04-11
Anticipated expiration: 2039-12-31
Also published as: CN111177785A

Abstract

本发明公开了一种企业的业务系统的隐私数据的脱敏处理方法，包括：获取企业用户的业务系统中适用于开发环境、测试环境或培训环境中的数据集；识别出数据集所包含的定义敏感数据；根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据；待脱敏数据在开发环境、测试环境或培训环境使用完后对脱敏数据进行处理操作，其中处理操作包括销毁脱敏数据。通过上述方式，本发明所公开的基于企业的业务系统的隐私数据的脱敏处理方法能够提供高性能、高可靠、高可用、可扩展，更安全的，更系统化保护隐私数据泄露的技术手段，可有效解决了脱敏隐私数据慢及隐私数据保护没有系统化的问题。

Description

一种基于企业的业务系统的隐私数据的脱敏处理方法

技术领域

本发明涉及信息安全技术领域，主要涉及到一种基于企业的业务系统的隐私数据的脱敏处理方法。

背景技术

随着IT(信息产业)行业的不断发展，技术日新月异，包括现今最流行的云和大数据，其最终目的都是为了提高信息的利用率，提高其流动性，进一步挖掘信息的价值，因此数据本身的价值越来越高。由于IT的核心是信息，因此，信息在一个企业当中越发凸显其重要性，企业和个人信息价值也随着各行各业的发展而不断提升。

不管IT技术和行业的如何发展，其安全问题总是如影随形，近年来数据泄露，销售非法数据获利等事件越发频繁。虽然数据的泄漏并不一定会对企业造成直接的经济损失，但是间接损失和影响是巨大的，或流失大批量的优质客户，或需要承担法律责任。

目前各银行、证券、基金、事业单位、私人企业也越来越重视信息安全的问题，有不少企业也利用一些技术手段在一些关键的生产系统针对数据进行监控，审计和保护。但是不少企业却忽略了一个环节，那就非生产环境，包括开发环境、测试环境和培训环境等。具体地，这些环境都需要样例数据，目前普遍的做法是：

1、备份恢复的手段直接获取测试数据，其好处是简单快捷，但弊端也是最严重的，隐私数据毫无保留的被泄露；

2、客户写程序，脚本或者命令对数据进行脱敏，但存在问题是：

a.对客户人员技术水平要求比较高；

b.效率低下，占用大量的人力和时间：

c.算法简单，一来容易逆向运算得到真实数据，二来导致数据量大量失真，虽然隐私数据脱敏了，但是仿真度太低，影响测试效果；

3、外包商，存在的问题是：

a.造数据，这样数据仿真度极差，严重影响开发和测试效果，会给应用系统留下潜在风险；

b.使用其他用户的生产数据，违反保密协议；

c.对真实数据脱敏，执行者是外包商，等于获取了真实数据，存在泄漏风险。

综上所述，根据目前的情况来看，针对测试、开发、培训等非生产环境进行管理，在整个数据流向上进行统一管理、脱敏、防止数据泄露是非常有必要的。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于企业的业务系统的隐私数据的脱敏处理方法，能够提供高性能、高可靠、高可用、可扩展，更安全的，更系统化保护隐私数据泄露的手段。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于企业的业务系统的隐私数据的脱敏处理方法，其特征在于，包括：获取企业用户的业务系统中适用于开发环境、测试环境或培训环境中的数据集，其中数据集中包含有定义敏感数据；识别出数据集所包含的定义敏感数据；根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据；待脱敏数据在开发环境、测试环境或培训环境使用完后对脱敏数据进行处理操作，其中处理操作包括销毁脱敏数据。

进一步的，所述识别出数据集所包含的定义敏感数据的步骤包括：导入用户敏感数据清单列表；根据用户敏感数据清单列表自动标记数据集中包含的定义敏感数据。

进一步的，该方法还包括：配置源端数据库和目标端数据库，并同步数据库对象和入库模式。

进一步的，该方法还包括：指定业务库的数据子集和数据范围，其中数据子集定义了用户可以选择哪些表用于做数据脱敏处理，数据范围定义了提取表中的数据的范围。

进一步的，该方法还包括：在开发环境、测试环境或培训环境中对敏感数据去标识化。

进一步的，所述根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据的步骤包括：根据企业用户的实际业务系统中的数据表的敏感字段的定义，选择对应的数据脱敏方式对内存中或数据文件中的字段进行脱敏处理以得到脱敏数据。

进一步的，所述选择对应的数据脱敏方式对内存中或数据文件中的字段进行脱敏处理的步骤包括：选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理，其中自定义脱敏算法包括对通用字符串进行部分保留、对通用字符串进行部分屏蔽、对通用字符串进行部分截取、对通用字符串进行部分替换。

进一步的，所述选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤包括：通过数据库读取身份证号码；将身份证号码拆分成行政区域码、日期、顺序码和校验位；通过仿真脱敏方式分别对行政区域码、日期、顺序码和校验位进行仿真以生成新行政区域码、新日期、新顺序码和新校验位；将新行政区域码、新日期、新顺序码和新校验位组合成新的身份证号码。

进一步的，所述选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤包括：通过数据库读取姓名；将姓名拆分姓氏和名字；通过仿真脱敏方式分别对姓氏和名字进行仿真以生成新姓氏和新名字，其中姓氏来源百家姓码表，名字来源常用汉字码表；将新姓氏和新名字组合形成新姓名。

进一步的，所述选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤包括：通过数据库读取邮箱号码；将邮箱号码拆分前缀和域名；通过仿真脱敏方式分别对前缀和域名进行仿真以生成新前缀和新域名；将新前缀和新域名组合形成新邮箱号码。

区别于现有技术，本发明所公开的企业的业务系统的隐私数据的脱敏处理方法包括：获取企业用户的业务系统中适用于开发环境、测试环境或培训环境中的数据集，其中数据集中包含有定义敏感数据；识别出数据集所包含的定义敏感数据；根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据；待脱敏数据在开发环境、测试环境或培训环境使用完后对脱敏数据进行处理操作，其中处理操作包括销毁脱敏数据。通过上述方式，本发明所公开的基于企业的业务系统的隐私数据的脱敏处理方法能够提供高性能、高可靠、高可用、可扩展，更安全的，更系统化保护隐私数据泄露的技术手段，可有效解决了脱敏隐私数据慢及隐私数据保护没有系统化的问题。

附图说明

图1是本发明基于企业的业务系统的隐私数据的脱敏处理方法的流程示意图；

图2是图1中步骤S103中的第一实施例的子步骤流程示意图；

图3是图1中步骤S103中的第二实施例的子步骤流程示意图

图4是图1中步骤S103中的第二实施例的子步骤流程示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

如图1所示，该基于企业的业务系统的隐私数据的脱敏处理方法包括以下步骤：

步骤S101：获取企业用户的业务系统中适用于开发环境、测试环境或培训环境中的数据集。

在本实施例中，数据集中包含有定义敏感数据。

步骤S102：识别出数据集所包含的定义敏感数据。

在步骤S102中，识别出数据集所包含的定义敏感数据的步骤包括：

步骤S1021：导入用户敏感数据清单列表。

步骤S1022：根据用户敏感数据清单列表自动标记数据集中包含的定义敏感数据。

步骤S103：根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据。

应理解，本发明的数据脱敏方式包括有60多种不同的数据脱敏方式，包括但不限定于只脱敏阿拉伯数字、字母、中文数字，其他汉字不脱敏的数字脱敏，包括但不限定于脱敏成其他地址且保证每次脱敏结果不变的唯一仿真脱敏，包括但不限定于随机替换成其他地址的随机脱敏。

也就是说，本发明具有自动精确发现、脱敏策略的灵活配置、多样化的脱敏方式、高效的处理算法、完善的监控体系等特点；一体化的简易操作步骤，极大的减少了数据脱敏维护人员的工作量；其表间并发和表内并发缩短了业务系统数据脱敏的时间周期；为企业的数据隐私保护提供简洁、强大、稳健、高效、安全、理想的解决方案。

在步骤S103中，根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据的步骤包括：根据企业用户的实际业务系统中的数据表的敏感字段的定义，选择对应的数据脱敏方式对内存中或数据文件中的字段进行脱敏处理以得到脱敏数据。

进一步的，选择对应的数据脱敏方式对内存中或数据文件中的字段进行脱敏处理的步骤包括：选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理。

优选的，自定义脱敏算法包括对通用字符串进行部分保留、对通用字符串进行部分屏蔽、对通用字符串进行部分截取、对通用字符串进行部分替换。

进一步的，如图2所示，选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤包括：

步骤S1031：通过数据库读取身份证号码。

步骤S1032：将身份证号码拆分成行政区域码、日期、顺序码和校验位。

步骤S1033：通过仿真脱敏方式分别对行政区域码、日期、顺序码和校验位进行仿真以生成新行政区域码、新日期、新顺序码和新校验位。

步骤S1034：将新行政区域码、新日期、新顺序码和新校验位组合成新的身份证号码。

应理解，如图3所示，在其他实施例中，选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤还包括：

步骤S2031：通过数据库读取姓名。

步骤S2032：将姓名拆分姓氏和名字。

步骤S2033：通过仿真脱敏方式分别对姓氏和名字进行仿真以生成新姓氏和新名字。

应理解，姓氏来源百家姓码表，名字来源常用汉字码表。

步骤S2034：将新姓氏和新名字组合形成新姓名。

应理解，如图4所示，在其他实施例中，选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤还包括：

步骤S3031：通过数据库读取邮箱号码。

步骤S3032：将邮箱号码拆分前缀和域名。

步骤S3033：通过仿真脱敏方式分别对前缀和域名进行仿真以生成新前缀和新域名。

步骤S3034：将新前缀和新域名组合形成新邮箱号码。

步骤S104：待脱敏数据在开发环境、测试环境或培训环境使用完后对脱敏数据进行处理操作。

在本实施例中，处理操作包括销毁脱敏数据。

也就是说，在开发环境、测试环境或培训环境使用完后数据后，会销毁数据，如在数据使用完或数据有效期到期后，对开发环境、测试环境或培训环境数据进行销毁，实现测试数据的整个生命周期管理。

值得注意的是，步骤S101、步骤S102和步骤S103属于企业端服务器所执行的步骤，而步骤S104属于外发出去在开发环境、测试环境或培训环境执行的，如在承包商端执行步骤S104。

在步骤S104之前，进一步的，该基于企业的业务系统的隐私数据的脱敏处理方法还包括：在开发环境、测试环境或培训环境中对敏感数据去标识化。

也就是说，承包商在使用数据过程中，在开发环境、测试环境或培训环境去标识化敏感数据以得到真实数据，以便符合数据隐私的制度遵从要求，转换测试数据以满足特定测试用例的要求。

值得注意的是，在步骤S101之前，该基于企业的业务系统的隐私数据的脱敏处理方法还包括：数据源配置步骤；敏感源数据配置步骤；任务配置步骤；监控步骤。

应理解，在数据源配置步骤中，数据源包含传统RDBMS(ORACLE、DB2、SQLSERVER、SYBASE、INFORMIX、GBASE 8T等)，主机数据源(AS400)，数据仓库(DB2 DPF、GBASE 8A、GREENPLUM等)，大数据(HADOOP HIVE)，结构化文本数据(本地和远程结构化文本)，将数据源链接配置在服务器中，以在后续的任务中使用。

应理解，在敏感源数据配置步骤中，通过敏感数据自动发现功能，自动标记数据集中包含的定义敏感数据，支持用户对发现结果进行修改，支持用户敏感数据清单列表导入，由相关业务人员对敏感元数据进行最终确认。

应理解，在任务配置步骤中，主要是通过配置源端数据库和目标端数据库，并同步数据库对象及入库模式。具体地，用户会根据实际的业务系统场景选择不同的数据脱敏方式，实现UDF数据脱敏、纯内存数据脱敏、落地文件数据脱敏。另外，用户还可以同步数据库对象，包括表DDL、主外键、索引、视图、函数、存储过程、触发器等。

进一步的，在任务配置步骤中，同时还可以指定业务库的数据子集和数据范围。数据子集定义了用户可以选择哪些数据表用于做数据脱敏处理，数据范围定义了提取数据表中的数据的范围，即数据表的WHERE条件提取和抽样提取。用户可以创建符合不同场景需求的数据集，用于满足开发、测试、培训环境的需要。

应理解，在监控步骤中，主要是监控所脱敏的数据是否正确等。

进一步的，该基于企业的业务系统的隐私数据的脱敏处理方法还包括：步骤A1：配置源端数据库和目标端数据库，并同步数据库对象和入库模式。也就是说，步骤A1属于任务配置步骤。

进一步的，该基于企业的业务系统的隐私数据的脱敏处理方法还包括：步骤A2：指定业务库的数据子集和数据范围。也就是说，步骤A2属于任务配置步骤。在步骤A2中，数据子集定义了用户可以选择哪些表(数据表)用于做数据脱敏处理，数据范围定义了提取(数据表)中的数据的范围。

综上，本发明能够在Windows、Unix、Linux全系列操作系统(包括CentOS、Red Hat、SUSE、红旗等)\AIX\HP-UX\WINDOWS操作系统上稳定运行支持通用数据库的数据脱敏处理，包括但不限于0racle\DB2\Informix\SqIServer\MysqI\GBASE\Hadoop等数据库类型。进一步的，本发明通过系统自动扫描和发现结构化数据和大数据里面的敏感数据，对这些敏感数据通过脱敏算法进行数据的变形，实现敏感隐私数据的可靠保护，这样就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集，可有效解决了脱敏隐私数据慢及隐私数据保护没有系统化的问题。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于企业的业务系统的隐私数据的脱敏处理方法，其特征在于，包括：

获取企业用户的业务系统中适用于开发环境、测试环境或培训环境中的数据集，其中数据集中包含有定义敏感数据；

识别出数据集所包含的定义敏感数据；

根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据；

待脱敏数据在开发环境、测试环境或培训环境使用完后对脱敏数据进行处理操作，其中处理操作包括销毁脱敏数据；

所述识别出数据集所包含的定义敏感数据的步骤包括：

配置源端数据库和目标端数据库，并同步数据库对象和入库模式；

指定业务库的数据子集和数据范围，其中数据子集定义了用户可以选择哪些表用于做数据脱敏处理，数据范围定义了提取表中的数据的范围；

导入用户敏感数据清单列表；

根据用户敏感数据清单列表自动标记数据集中包含的定义敏感数据；

在开发环境、测试环境或培训环境中对敏感数据去标识化。

2.根据权利要求1所述的脱敏处理方法，其特征在于，所述根据企业用户的实际业务系统场景选择对应的数据脱敏方式对定义敏感数据进行脱敏处理以得到脱敏数据的步骤包括：

根据企业用户的实际业务系统中的数据表的敏感字段的定义，选择对应的数据脱敏方式对内存中或数据文件中的字段进行脱敏处理以得到脱敏数据。

3.根据权利要求2所述的脱敏处理方法，其特征在于，所述选择对应的数据脱敏方式对内存中或数据文件中的字段进行脱敏处理的步骤包括：

选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理，其中自定义脱敏算法包括对通用字符串进行部分保留、对通用字符串进行部分屏蔽、对通用字符串进行部分截取、对通用字符串进行部分替换。

4.根据权利要求3所述的脱敏处理方法，其特征在于，所述选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤包括：

通过数据库读取身份证号码；

将身份证号码拆分成行政区域码、日期、顺序码和校验位；

通过仿真脱敏方式分别对行政区域码、日期、顺序码和校验位进行仿真以生成新行政区域码、新日期、新顺序码和新校验位；

将新行政区域码、新日期、新顺序码和新校验位组合成新的身份证号码。

5.根据权利要求4所述的脱敏处理方法，其特征在于，所述选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤还包括：

通过数据库读取姓名；

将姓名拆分姓氏和名字；

通过仿真脱敏方式分别对姓氏和名字进行仿真以生成新姓氏和新名字，其中姓氏来源百家姓码表，名字来源常用汉字码表；

将新姓氏和新名字组合形成新姓名。

6.根据权利要求4所述的脱敏处理方法，其特征在于，所述选择通用字符串对应的自定义脱敏算法对通用字符串进行脱敏处理的步骤还包括：

通过数据库读取邮箱号码；

将邮箱号码拆分前缀和域名；

通过仿真脱敏方式分别对前缀和域名进行仿真以生成新前缀和新域名；

将新前缀和新域名组合形成新邮箱号码。