CN110399733A - 一种针对结构化数据的脱敏平台 - Google Patents

Abstract

本发明公开了一种针对结构化数据的脱敏平台，包括离线数据脱敏系统和在线数据脱敏系统，其中离线数据脱敏系统中的脱敏任务可针对目标数据库系统或非结构化文件进行；通过脱敏任务，将产品与提供原始数据的业务系统和使用脱敏后数据的系统连接起来，用户可在任务内选择脱敏数据来源、脱敏数据去向以及最适合的数据脱敏方案。本发明能够有效解决信息系统数据质量不高及各信息系统之间数据共享程度偏低的问题，满足营销客户、电网GIS、生产经营等敏感数据防泄密技术和数据安全防护技术开展研究和应用，提升信息系统数据质量、促进数据共享融合。

Description

一种针对结构化数据的脱敏平台

技术领域

本发明涉及一种针对结构化数据的脱敏平台。

背景技术

根据数据脱敏产品应用场景，数据脱敏划分为静态数据脱敏(static datamasking[SDM])和动态数据脱敏(dynamic data masking[DDM])。

静态数据脱敏(SDM)：一般用在非生产环境，将敏感数据从生产环境抽取并脱敏后给到非生产环境使用，常用于培训、分析、测试、开发等非生产系统的数据库。

动态数据脱敏(DDM)：常用在生产环境，在访问敏感数据即时进行脱敏，一般用来解决在生产环境需要根据不同情况对同一敏感数据读取时进行不同级别脱敏的场景

目前国外Oracle的Data Masking组件、IBM的InfoSphere OptimData Privacy、Informatica的Informatica DataMasking工具能实现数据库脱敏，但是缺少对于中文数据的识别以及脱敏算法。因此，国外的脱敏产品在国内各行业没有推广应用。随着国家对个人信息保护的重视，国内运营商等企业对数据脱敏的研究开始具体实施。在技术层面，2014年思睿嘉得最先在国内发布了非结构化数据的脱敏产品，但针对数据库中存储的结构化数据的脱敏技术国内还在探索阶段。普遍做法是运用脱敏脚本对数据进行脱敏处理，但是这种方法存在众多弊端：

1.敏感数据质量差：脚本脱敏无法实现高仿真形式的脱敏效果，脱敏后的数据千篇一律，无法满足开发测试人员的使用需求；

2.无法保持关联关系：当数据库表与表之间存在关联关系时，脚本脱敏将无法保持住表间关联关系特性，从而导致数据完整性的破坏。

发明内容

本发明的目的是提供一种针对结构化数据的脱敏平台，解决信息系统数据质量不高及各信息系统之间数据共享程度偏低的问题，满足营销客户、电网 GIS、生产经营等敏感数据防泄密技术和数据安全防护技术开展研究和应用，提升信息系统数据质量、促进数据共享融合。

本发明解决其技术问题所采用的技术方案是：一种针对结构化数据的脱敏平台，包括离线数据脱敏系统和在线数据脱敏系统，其中离线数据脱敏系统中的脱敏任务可针对目标数据库系统或非结构化文件进行；通过脱敏任务，将产品与提供原始数据的业务系统和使用脱敏后数据的系统连接起来，用户可在任务内选择脱敏数据来源、脱敏数据去向以及最适合的数据脱敏方案；

离线数据脱敏系统提供任务的维护管理功能，可对任务进行停止、启动、重启、暂停、继续，并且支持任务并发，充分利用系统资源，提高脱敏效率；脱敏任务可兼容执行过程中遇到的异常情况，支持跳过异常数据继续执行任务；

离线数据脱敏系统支持多种数据源，包括Oracle、DB2、SQL Server、MySQL 数据库及数据仓库；并支持数据库到数据库、数据库到文件、文件到文件、文件到数据库的方式；

离线数据脱敏系统能够按照用户指定的一部分敏感数据或预定义的敏感数据特征，在执行任务过程中对抽取的数据进行自动的识别，发现敏感数据，并自动的根据规则对发现的敏感数据进行脱敏处理。

进一步的，(1)、脱敏方式：系统能够支持自定义、图形化操作的脱敏规则和脱敏方式，支持UNICODE标准、中文字符编码；支持自定义、图形化脱敏规则，并且基于客户要求，提供自定义脱敏接口。

(2)、数据脱敏规则：离线脱敏平台根据不同数据特征，内置脱敏算法，可对常见数据如姓名、证件号、银行账户、金额、日期、住址、电话号码、 Email地址、车牌号、车架号、企业名称、工商注册号、组织机构代码、纳税人识别号这些敏感数据进行脱敏，内置脱敏算法具有如下特性：

同义替换：使用相同含义的数据替换原有的敏感数据，如姓名脱敏后仍然为有意义的姓名，住址脱敏后仍然为住址；

部分数据遮蔽：将原数据中部分或全部内容，用“*”或“#”字符进行替换，遮盖部分或全部原文；

混合屏蔽：将相关的列作为一个组进行屏蔽，以保证这些相关列中被屏蔽的数据保持同样的关系，如城市、省、邮编在屏蔽后保持一致；

确定性屏蔽：确保在运行屏蔽后生成可重复的屏蔽值：可确保特定的值，如客户号、身份证号码、银行卡号在所有数据库中屏蔽为同一个值；

可逆脱敏：确保脱敏后的数据可还原，便于将第三方分析机构和内部经分团队基于脱敏后数据上的分析的结果还原为业务数据；

(4)、数据脱敏算法：离线脱敏平台支持的脱敏算法包括屏蔽、变形、替换、随机、格式保留加密和强加密算法。

进一步的，在脱敏过程中，对显式引用的字段提供自动发现功能；并且可以按照需求将涉及关联的字段全部脱敏，并保留脱敏后的外键引用关系不被破坏；对于应用程序制造的关联，提供用户进行配置的能力，保证相关字段全部脱敏并保留关系；确保相同的原始值，脱敏后生成的值也相同；保证脱敏的某个字段中相同的值生成相同的结果，及在不同次脱敏，不同数据库中脱敏相同的值，得到的结果也相同。

进一步的，离线数据脱敏系统自动化记录所有通过本脱敏平台进行的脱敏任务操作行为，将以每一次脱敏任务为单元进行审计记录，可记录脱敏任务执行人信息、执行的数据信息、以及脱敏任务完成后的数据流向信息；并配置重要操作告警系统，告警方式可支持SYSLOG、SNMP、短信、邮件。

进一步的，在线数据脱敏系统以业务人员身份鉴别为基础，针对不同的业务人员实现不同的敏感数据遮盖效果；在线数据脱敏系统通过业务人员访问行为的网络数据包进行解析，从而获取当前访问者身份；在确定访问者身份后，根据既定的脱敏策略进行相应的脱敏处理；

在线数据脱敏系统能够按照用户指定的一部分敏感数据或预定义的敏感数据特征，对数据库中的数据进行自动的识别，发现敏感数据，并自动地根据规则对发现的敏感数据推荐最匹配的脱敏算法；

由于每一类敏感数据的敏感信息特征均不相同，在线数据脱敏系统将根据每一类敏感数据进行脱敏规则的设定，针对每一类敏感数据将掩盖掉可以体现出数据含义的部分，本在线数据脱敏系统可实现身份证号、银行卡卡号、信用卡卡号、电话号码、中文姓名、中文地址、邮政编码、企业名称、社会统一信用代码、金额、年龄、车牌号、邮箱地址、口令、QQ号、微信号及各平台账号的敏感信息的脱敏。

本发明的有益效果：本针对结构化数据的脱敏平台支持对中文数据的识别及脱敏算法，能够良好的运行在国内生产环境；提供丰富的脱敏算法以及自定义脱敏规则接口，对结构化数据能够实现高仿真形式的脱敏效果，满足开发测试人员的使用需求；在实施脱敏同时保持数据库表间的关联关系，保持数据完整性。有效解决信息系统数据质量不高及各信息系统之间数据共享程度偏低的问题，并满足营销客户、电网GIS、生产经营等敏感数据防泄密技术和数据安全防护技术开展研究和应用，提升信息系统数据质量、促进数据共享融合。

以下将通过实施例，对本发明进行较为详细的说明。

具体实施方式

实施例1，一种针对结构化数据的脱敏平台，包括离线数据脱敏系统和在线数据脱敏系统，其中离线数据脱敏系统中的脱敏任务可针对目标数据库系统或非结构化文件进行；通过脱敏任务，将产品与提供原始数据的业务系统和使用脱敏后数据的系统连接起来，用户可在任务内选择脱敏数据来源、脱敏数据去向以及最适合的数据脱敏方案；

离线数据脱敏系统提供任务的维护管理功能，可对任务进行停止、启动、重启、暂停、继续，并且支持任务并发，充分利用系统资源，提高脱敏效率；脱敏任务可兼容执行过程中遇到的异常情况，支持跳过异常数据继续执行任务；

离线数据脱敏系统支持多种数据源，包括Oracle、DB2、SQL Server、MySQL 数据库及数据仓库；并支持数据库到数据库、数据库到文件、文件到文件、文件到数据库的方式；

离线数据脱敏系统能够按照用户指定的一部分敏感数据或预定义的敏感数据特征，在执行任务过程中对抽取的数据进行自动的识别，发现敏感数据，并自动的根据规则对发现的敏感数据进行脱敏处理。通过自动识别敏感数据，可以避免按照字段定义敏感数据元的繁琐工作，同时最大限度的对所有需要抽取的敏感数据进行自动脱敏，同时能够持续的发现新的敏感数据。发现隐私数据是用户根据发现规则发现隐私数据的一个过程。

离线数据脱敏系统还具备如下特点：(1)、脱敏方式：系统能够支持自定义、图形化操作的脱敏规则和脱敏方式，支持UNICODE标准、中文字符编码；支持自定义、图形化脱敏规则，并且基于客户要求，提供自定义脱敏接口。

(2)、数据脱敏规则：离线脱敏平台根据不同数据特征，内置脱敏算法，可对常见数据如姓名、证件号、银行账户、金额、日期、住址、电话号码、 Email地址、车牌号、车架号、企业名称、工商注册号、组织机构代码、纳税人识别号这些敏感数据进行脱敏，内置脱敏算法具有如下特性：

同义替换：使用相同含义的数据替换原有的敏感数据，如姓名脱敏后仍然为有意义的姓名，住址脱敏后仍然为住址；

部分数据遮蔽：将原数据中部分或全部内容，用“*”或“#”字符进行替换，遮盖部分或全部原文；

混合屏蔽：将相关的列作为一个组进行屏蔽，以保证这些相关列中被屏蔽的数据保持同样的关系，如城市、省、邮编在屏蔽后保持一致；

确定性屏蔽：确保在运行屏蔽后生成可重复的屏蔽值：可确保特定的值，如客户号、身份证号码、银行卡号在所有数据库中屏蔽为同一个值；

可逆脱敏：确保脱敏后的数据可还原，便于将第三方分析机构和内部经分团队基于脱敏后数据上的分析的结果还原为业务数据；

数据脱敏算法：离线脱敏平台支持的脱敏算法包括屏蔽、变形、替换、随机、格式保留加密和强加密算法。

在脱敏过程中，对显式引用的字段提供自动发现功能；并且可以按照需求将涉及关联的字段全部脱敏，并保留脱敏后的外键引用关系不被破坏；对于应用程序制造的关联，提供用户进行配置的能力，保证相关字段全部脱敏并保留关系；确保相同的原始值，脱敏后生成的值也相同；保证脱敏的某个字段中相同的值生成相同的结果，及在不同次脱敏，不同数据库中脱敏相同的值，得到的结果也相同。

离线数据脱敏系统自动化记录所有通过本脱敏平台进行的脱敏任务操作行为，将以每一次脱敏任务为单元进行审计记录，可记录脱敏任务执行人信息、执行的数据信息、以及脱敏任务完成后的数据流向信息；并配置重要操作告警系统，告警方式可支持SYSLOG、SNMP、短信、邮件。

相关功能设计：

内置算法管理

脱敏算法包含内置算法和自定义算法。

该功能可以查看内置的脱敏算法信息，并可以对算法做有效性测试。

①脱敏算法信息：算法名称、算法标签(屏蔽、替换、随机、可逆)，算法描述、对应的字典ID(对应的码表)。

②功能描述：

支持查询：可以根据过滤条件查询，如：按字典、算法名称等。

对算法做有效性测试：判断有效性的测试结果按测试成功用例3次，设置失败用例3次来作为标准判断。

③脱敏内置算法：

支持对常用数据的内置脱敏算法，包括：身份证号、银行卡号、电话号码、姓名、住址、金额、Email地址等多种数据类型。

支持屏蔽、替换、变形、随机等多种脱敏方式。

支持混合脱敏，确保将相关的列作为一个组进行脱敏，以保证这些相关列中被脱敏的数据保持同样的关系。

支持数据可逆脱敏，利用FPE算法，既保证数据脱敏，又保证脱敏后的数据经过分析系统处理后，能够根据需要追溯出指定的原始记录。

支持确定性脱敏，确保在运行脱敏后生成可重复的值，可确保特定的值(如客户号、身份证号、银行卡号)在所有数据库及业务系统中脱敏为相同的值。

自定义脱敏算法

给用户提供实现接口，提供jar的接口包，或者动态添加代码技术(GreasySpoon)。

①自定义脱敏算法信息：算法名称、算法标签(屏蔽、替换、随机、可逆)，算法描述、对应的字典ID(对应的码表)、文件路径。

②功能描述：新增、修改、删除、查询；对算法做有效性测试。

脱敏业务属性保持功能

在一些数据库设计中，同一敏感数据在多个有引用关系的表中存在，这种引用关系可能是数据库结构中显式引用(外键)，也可能是应用程序制造的关联如姓名字段被同时插入到几张不同的表中，因此数据脱敏后数据关系不能变更，具体要求如下：

(1)在脱敏过程中，应当对显式引用的字段提供自动发现。

(2)并且可以按照需求将涉及关联的字段全部脱敏，而且要保留脱敏后的外键引用关系不被破坏。

(3)对于应用程序制造的关联，应该提供用户进行配置的能力，保证相关字段全部脱敏并保留关系。确保相同的原始值，脱敏后生成的值也相同，不但保证脱敏的某个字段中相同的值生成相同的结果，也要保证在不同次脱敏，不同数据库中脱敏相同的值，得到的结果也相同。

脱敏任务执行

(1)自动发现脱敏数据

内置发现规则发现需脱敏数据

姓名；

身份证号；

中文地址；

电子邮件；

电话号码；

日期时间；

账户账号。

(2)数据发现任务

给定数据源，数据库地址或文件；

执行敏感数据发现任务；

任务并行，提高处理效率。

(3)敏感数据梳理

对发现结果进行确认；

理顺数据依赖关系；

生成敏感数据字典。

(4)脱敏方案

选择数据字典；

配置脱敏算法；

设置脱敏参数。

(5)脱敏任务管理

选定脱敏方案；

任务参数设置；

执行脱敏任务。

在线数据脱敏系统以业务人员身份鉴别为基础，针对不同的业务人员实现不同的敏感数据遮盖效果；在线数据脱敏系统通过业务人员访问行为的网络数据包进行解析，从而获取当前访问者身份；在确定访问者身份后，根据既定的脱敏策略进行相应的脱敏处理；

在线数据脱敏系统能够按照用户指定的一部分敏感数据或预定义的敏感数据特征，对数据库中的数据进行自动的识别，发现敏感数据，并自动地根据规则对发现的敏感数据推荐最匹配的脱敏算法；

由于每一类敏感数据的敏感信息特征均不相同，在线数据脱敏系统将根据每一类敏感数据进行脱敏规则的设定，针对每一类敏感数据将掩盖掉可以体现出数据含义的部分，本在线数据脱敏系统可实现身份证号、银行卡卡号、信用卡卡号、电话号码、中文姓名、中文地址、邮政编码、企业名称、社会统一信用代码、金额、年龄、车牌号、邮箱地址、口令、QQ号、微信号及各平台账号的敏感信息的脱敏。

算法如下：

在线脱敏任务的执行是由每一次业务人员通过营销系统访问敏感数据时触发的，在完成身份鉴别后，根据既定的脱敏策略进行脱敏任务的执行。在脱敏任务的执行层面由于采用SQL语句改写技术，因此不会对原始数据或者结果集数据进行改写，所以在数据的完整性以及脱敏的效率方面可以得到足够保障。

在线数据脱敏系统作为反向代理，部署在营销业务应用及数据库之间。用户执行的查询语句会先经过在线数据脱敏系统过滤，若命中动态脱敏规则，在线数据脱敏系统会对用户的查询语句进行改写，以达到脱敏的目的。例如：设置脱敏字段为idcard，别名为newidcard，脱敏算法为mask()，对于语句 select idcard from users，改写后的语句为select mask(idcard)as newidcard from users。

在线数据脱敏系统根据SQL语句语义，查找需要脱敏处理的字段，进行脱敏函数替换，并对select*、where子语句、prepare等特殊情况进行处理。改写完毕，将修改后的语句提交到数据库执行，将结果返回给用户。此时用户得到的便是脱敏后的数据。

在线数据脱敏系统能够审计到SQL语句(脱敏前)、访问来源信息、SQL 语句信息及受影响对象，并提供详细的语句详情页面。

离线数据脱敏系统通过旁路方式部署在数据库接入交换机从而实现数据传输脱敏(确保离线脱敏平台与源端数据库系统网络可达)。

在线数据脱敏系统代理模式部署在业务应用与数据库服务器中间，逻辑上形成串联接入效果，从而实现数据服务脱敏。

以上仅对本发明进行了示例性描述。显然，本发明具体实现并不受上述方式的限制。只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (5)

1.一种针对结构化数据的脱敏平台，其特征在于：包括离线数据脱敏系统和在线数据脱敏系统，其中离线数据脱敏系统中的脱敏任务可针对目标数据库系统或非结构化文件进行；通过脱敏任务，将产品与提供原始数据的业务系统和使用脱敏后数据的系统连接起来，用户可在任务内选择脱敏数据来源、脱敏数据去向以及最适合的数据脱敏方案；

离线数据脱敏系统提供任务的维护管理功能，可对任务进行停止、启动、重启、暂停、继续，并且支持任务并发，充分利用系统资源，提高脱敏效率；脱敏任务可兼容执行过程中遇到的异常情况，支持跳过异常数据继续执行任务；

离线数据脱敏系统支持多种数据源，包括Oracle、DB2、SQL Server、MySQL数据库及数据仓库；并支持数据库到数据库、数据库到文件、文件到文件、文件到数据库的方式；

离线数据脱敏系统能够按照用户指定的一部分敏感数据或预定义的敏感数据特征，在执行任务过程中对抽取的数据进行自动的识别，发现敏感数据，并自动的根据规则对发现的敏感数据进行脱敏处理。

2.根据权利要求1所述的针对结构化数据的脱敏平台，其特征在于：

(1)、脱敏方式：系统能够支持自定义、图形化操作的脱敏规则和脱敏方式，支持UNICODE标准、中文字符编码；支持自定义、图形化脱敏规则，并且基于客户要求，提供自定义脱敏接口。

(2)、数据脱敏规则：离线脱敏平台根据不同数据特征，内置脱敏算法，可对常见数据如姓名、证件号、银行账户、金额、日期、住址、电话号码、Email地址、车牌号、车架号、企业名称、工商注册号、组织机构代码、纳税人识别号这些敏感数据进行脱敏，内置脱敏算法具有如下特性：

同义替换：使用相同含义的数据替换原有的敏感数据，如姓名脱敏后仍然为有意义的姓名，住址脱敏后仍然为住址；

部分数据遮蔽：将原数据中部分或全部内容，用“*”或“#”字符进行替换，遮盖部分或全部原文；

混合屏蔽：将相关的列作为一个组进行屏蔽，以保证这些相关列中被屏蔽的数据保持同样的关系，如城市、省、邮编在屏蔽后保持一致；

确定性屏蔽：确保在运行屏蔽后生成可重复的屏蔽值：可确保特定的值，如客户号、身份证号码、银行卡号在所有数据库中屏蔽为同一个值；

可逆脱敏：确保脱敏后的数据可还原，便于将第三方分析机构和内部经分团队基于脱敏后数据上的分析的结果还原为业务数据；

(3)、数据脱敏算法：离线脱敏平台支持的脱敏算法包括屏蔽、变形、替换、随机、格式保留加密和强加密算法。

3.根据权利要求2所述的针对结构化数据的脱敏平台，其特征在于：

在脱敏过程中，对显式引用的字段提供自动发现功能；并且可以按照需求将涉及关联的字段全部脱敏，并保留脱敏后的外键引用关系不被破坏；对于应用程序制造的关联，提供用户进行配置的能力，保证相关字段全部脱敏并保留关系；确保相同的原始值，脱敏后生成的值也相同；保证脱敏的某个字段中相同的值生成相同的结果，及在不同次脱敏，不同数据库中脱敏相同的值，得到的结果也相同。

4.根据权利要求3所述的针对结构化数据的脱敏平台，其特征在于：离线数据脱敏系统自动化记录所有通过本脱敏平台进行的脱敏任务操作行为，将以每一次脱敏任务为单元进行审计记录，可记录脱敏任务执行人信息、执行的数据信息、以及脱敏任务完成后的数据流向信息；并配置重要操作告警系统，告警方式可支持SYSLOG、SNMP、短信、邮件。

5.根据权利要求1至4任意一项所述的针对结构化数据的脱敏平台，其特征在于：在线数据脱敏系统以业务人员身份鉴别为基础，针对不同的业务人员实现不同的敏感数据遮盖效果；在线数据脱敏系统通过业务人员访问行为的网络数据包进行解析，从而获取当前访问者身份；在确定访问者身份后，根据既定的脱敏策略进行相应的脱敏处理；

在线数据脱敏系统能够按照用户指定的一部分敏感数据或预定义的敏感数据特征，对数据库中的数据进行自动的识别，发现敏感数据，并自动地根据规则对发现的敏感数据推荐最匹配的脱敏算法；

由于每一类敏感数据的敏感信息特征均不相同，在线数据脱敏系统将根据每一类敏感数据进行脱敏规则的设定，针对每一类敏感数据将掩盖掉可以体现出数据含义的部分，本在线数据脱敏系统可实现身份证号、银行卡卡号、信用卡卡号、电话号码、中文姓名、中文地址、邮政编码、企业名称、社会统一信用代码、金额、年龄、车牌号、邮箱地址、口令、QQ号、微信号及各平台账号的敏感信息的脱敏。