CN105426445A - 一种格式保留的数据脱敏方法 - Google Patents

Abstract

一种格式保留的数据处理方法，它涉及一种数据脱敏方法，具体涉及一种格式保留的数据处理方法。本发明为解决现有对客户敏感数据的保护方法在进行数据关联操作时会发生数据缺失，严重影响数据的准确性，由于采用的算法过于简单，容易破解，并且密钥泄露后，未提供一种有效的历史数据的处理机制的问题。本发明基于GB2312中文字符集的编码结构的范围在B0A0到F7EF之间，被划分成72个等长的单元区间，每个单元区间的编码分布相同，本发明方法包括GB2312中文字符集的编码结构，GBK等长加密算法、GBK等长解密算法、号码加扰算法和号码解扰算法。本发明属于计算机软件领域。

Description

一种格式保留的数据脱敏方法

技术领域

本发明涉及一种数据脱敏方法，具体涉及一种格式保留的数据处理方法，属于计算机软件领域。

背景技术

移动经营分析系统中存储了海量数据，其中包含了大量的客户敏感数据，为了有效保护客户的敏感数据，避免数据泄露引发纠纷，必须对客户的敏感数据进行保护，针对不同的数据进行不同措施的保护，主要分为两种保护方式：

1、对于数字类型的客户敏感数据，比如手机号码，采用对数字的后n位进行变换的方式进行映射，生成新的数字。

2、对于存在汉字和字母的客户敏感数据，对其中的部分信息采用了DES加密算法进行信息加密。

以上两种方案虽然对客户的敏感数据进行了保护处理，但是对于两种类型的数据处理方式，分别存在不同程度的缺陷：

1、对于存在汉子和字母的数据采用DES加密，系统开销大，通讯开销成本较高，并且加密后的数据格式发生了变化，比如对客户姓名使用RC2算法加密后，数据长度由原来的8位变为64位，需要对数据库字段进行扩位，大大增加了系统开销，以黑龙江的数据库规模进行计算，由于使用该算法，需要额外增加15TB的存储空间，且数据脱敏是在ETL过程中完成，严重影响了数据入库的速度。并且加密后的数据格式发生变化后，在进行数据关联操作时会发生数据缺失，严重影响数据的准确性。

2、对于数字类型的客户敏感数据，虽然数据的处理效率较高，但是由于所采用的算法过于简单，容易破解，并且密钥泄露后，未提供一种有效的历史数据的处理机制。

发明内容

本发明为解决现有对客户敏感数据的保护方法在进行数据关联操作时会发生数据缺失，严重影响数据的准确性，由于采用的算法过于简单，容易破解，并且密钥泄露后，未提供一种有效的历史数据的处理机制的问题，进而提出一种格式保留的数据脱敏方法。

本发明为解决上述问题采取的技术方案是：本发明方法基于GB2312中文字符集的编码结构的范围在B0A0到F7EF之间，被划分成72个等长的单元区间，每个单元区间的编码分布相同，本发明方法包括GB2312中文字符集的编码结构，GBK等长加密算法、GBK等长解密算法、号码加扰算法和号码解扰算法，GBK等长加密算法的具体步骤如下：

步骤A：

步骤A1、原文字符串循环取每一个字符ch；

步骤A2、判断字符ch类型：

字符ch类型为中文字符执行步骤A2（1），

步骤A2（1）、将中文GB2312字符集分为三块大小相等的区域：A区、B区、C区，指定A区的主映射区为B区，B区的主映射区为C区，C区的主映射区为A区；

步骤A2（2）、获取当前中文字所属编码区域A，及其在A中的偏移位置NP；

步骤A2（3）、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤A2（4）、获取转换后的字符位置newposition=对应主映射区起始位置+NP+OP；

步骤A2（5）、判断newposition编码处是否有对应的中文字符：newposition编码处有对应的中文字符则获取此位置的中文字符On’；newposition编码处没有对应的中文字符返回原字符Cn’=ch；

字符ch类型为英文字符执行步骤A3；

字符ch类型为为标点符号直接返回；

步骤A3、用大小写英文字母加数字组成自定义字符集，字符集分成三块大小相等的区域：A区、B区、C区，指定A区的主映射区为B区，B区的主映射区为C区，C区的主映射区为A区；

步骤A4、获取当前英文字符所属区域A及在A中的偏移量NP；

步骤A5、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤A6、获取转换后的字符位置newposition=对主映射区起始位置+NP+OP；

步骤A7、获取此位置的中文字符En’；

步骤A8、转换后的字符串=各字符相加。

GBK等长解密的具体步骤如下：

步骤B：

步骤B1、密文字符串循环取每一个字符ch；

步骤B2、判断字符ch类型：

字符ch为中文字符执行步骤B2（1）；

步骤B2（1）、获取中文字符ch的编码M；

步骤B2（2）、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤B2（3）、判断M’=M-OP的位置是否还在原区域：

M’=M-OP的位置还在原区域，说明此字符ch处于主映射区，从而确定原字符所属区域P，结合M、M’计算出ch原区域的偏移位置np；

M’=M-OP的位置不在原区域，说明此字符串当前属于从映射区，从而确定原字符所述区域P，结合M、M’计算出ch原区域的偏移位置np；

步骤B2（4）、根据P和np获取原字符编码m；

步骤B2（5）、获取此位置的中文字符Ch’；

字符ch为英文字符执行步骤B3；

字符ch为标点符号直接返回；

步骤B3、获取英文字符ch的编码M；

步骤B4、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤B5、判断M’=M-OP的位置是否还在原区域：

M’=M-OP的位置还在原区域，说明此字符ch处于主映射区，从而确定原字符所属区域P，结合M、M’算出ch原区域的偏移位置np；

M’=M-OP的位置不在原区域，说明此字符ch处于从映射区，从而确定原字符所属区域P，结合M、M’算出ch原区域的偏移位置np；

步骤B6、根据P和np获取原字符编码m；

步骤B7、获取此位置的英文字符En’；

步骤B8、转换后的字符串=各位字符粗加。

号码加扰算法的具体步骤如下：

步骤C：

步骤C1、对号码的后四位进行变更，使其变成另外的四个数字，而保持整个号码字段的长度及数据类型不变；

步骤C2、将16位密钥分为4组s1、s2、s3、s4，每组四位；

步骤C3、计算后四位之前的数字和str；。

步骤C4、将每组密钥的ascii码值都加上str生成新的四组密钥sn[0]到sn[3]；

步骤C5、将号码的后四位的每一位都和对应的sn[i](i=0,1,2,3)求和，再加上前一位num(i-1)，在经过数字对调和移位操作将最终生成新的后四位，与前面的号码拼接起来得到加扰后的号码。

号码解扰算法的具体步骤如下：

步骤D：

步骤D1、取加密号码后四位，用后四位之和除以4获取偏移量；

步骤D2、根据偏移量向左偏移，获取偏移后的后四位d[i](i=1,2,3,4)；

步骤D3、根据密钥和号码前七位算出分组密钥Sn[i]；

步骤D4、结合Sn[i],d[i]逆向算出原后四位；

步骤D5、最后和前七位组合成原号码

本发明的有益效果是：本发明在大批量数据通过ETL加载入库时，对于不同类型的隐私数据采用格式保留脱敏方法，可以避免密文长度大于表字段定义长度，导致数据装载出错；避免了号码字段加密后类型和数据库表字段定义不匹配，导致数据装载出错。本发明处理逻辑简明，处理效率高且安全性高，完全满足经分数据库海量数据导入的性能需求，对现有系统不会造成性能或者逻辑数据格式上的影响。本发明在通过ETL向经分数据仓库装载大批量数据时，对需要保护的隐私数据进行格式保留的数据脱敏方法，使其以密文形式入库，保障了其数据安全性和数据格式的统一，对当前数据仓库的数据存储和当前运行的系统程序不会造成任何影响。本发明可以在数据还原模块中根据需要还原数据原文信息，在保留数据格式的同时，提高了数据的加密效率。

附图说明

图1是GB2132中文字符集编码结构的第一个单元编码区间示意图，图2是单元区域示意图，图3是GBK等长加密算法图解示意图，图4是GBK等长加密算法流程图，图5是GBK等长解密算法流程图，图6是GBK中文72小区间中的D7示意图，图7是号码加扰算法流程图，图8是号码解扰算法流程图。

具体实施方式

本发明中把B0～C7这24个单元编码区间组成区域作为A编码区域，把C8～DF这24个单元编码区间组成区域作为B编码区域，把E0～F7这24个单元编码区间组成区域作为C编码区域。

GBK等长加密算法中，将英文和数字统一起来组成单字符区，而汉字作为宽字符区。对单字符区和宽字符区加密都采用“三段映射”方法，“三段影射”方法如下：先考虑汉字，考虑将GB2312中文编码集分为A，B，C等长的三段。即将72个单元区间分为3个编码区域，每个编码区域含有24个单元区间。由于每个小区间的编码分布结构是相似的，所以A、B、C三个编码区域的结构是相似的，首先规定A段区域类的字符的主映射区为B，从映射区为C，B段区域类的字符的主映射区为C，从映射区为A，C段区域类的字符的主映射区为A，从映射区为B，若待加密的汉字字符z的GBK编码值在A段中，则获取z在A段中的位置np，然后将字符串长度值和密钥的ASC码值求和再对段长取模得到偏移值op，最后将np+op得到新字段最终的偏移量，从A段区域的主映射区B头部开始偏移np+op位，得到新字符M所在的编码位。此字符可能在B区间，也可能影射到了C区间。

对于单字符区域（由字母和数字组成），考虑方法和汉字处理方法思路一致。英文和数字组成一个集合，将集合分为A，B，C等长的三段。分别为是A区间：{'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u'}，B区间：{'v','w','x','y','z','0','1','2','3','4','','5','6','7','8','9','Z','Y','X','W','V'}，C区间：{'U','T','S','R','Q','P','O','N','M','L','K','J','I','H','G','F','E','D','C','B','A'}。之后的处理方式和中文字符一致。对于标点符号不做处理直接返回。GBK等长加密算法中的算法密钥是系统生成的16位字符串，由大小写英文字母、数字组成。生成方法如下：由JAVA原生方法生成一串随机的UUID编号，截取前八位、十到十三位、十五到十八位叠加组合成的一串16位密钥。（例如：根据UUID生成随机编码4FC92B37-D149-4FED-81A9-6111706BB399。那么所得密钥串为4FC92B37D1494FED）因为每个区域中的中文字符个数相同，且对于同一个字符串，同一个密钥，op值是固定的。所以保证了对于GB2312字符集里的所有字符都能找到唯一对应的转换后的中文字符。

GBK等长解密算法是GBK等长加密算法的逆过程，通过解密算法结合密钥，将密文字符串还原成原文。

GBK等长加密算法保证了加密前后字符串的长度，格式都与原文一致，只要结合密钥使用解密方法即可得到原文字符串，在保证安全性的同时，处理效率也相当高，适用于大批量数据导入导出的实施场景。

号码加扰算法主要针对用户号码这类经常会参加SQL关联或是程序运算的用户数据。对号码的后四位进行变更，使其变成另外的四个数字，而保持整个号码子段的长度及数据类型不变；将16位的密钥分为4组s1,s2,s3,s4，每组四位。计算后四位之前的数字和str；将每组密钥的ascii码值都加上str生成新的四组密钥sn[0]到sn[3]；将后号码后四位的每一位都和对应的sn[i](i=0,1,2,3)求和，再加上前一位num(i-1)，在经过数字对调和移位操作将最终生成新的后四位，与前面的号码拼接起来得到加扰后的号码。

号码加扰算法的密钥是系统生成的16位字符串，由大小写英文字母、数字组成。生成方法如下：由java原生方法生成一串随机的UUID编号。截取前八位、十到十三位、十五到十八位叠加组合成的一串16位密钥。

例如：根据UUID生成随机编码4FC92B37-D149-4FED-81A9-6111706BB399。那么所得密钥串为4FC92B37D1494FED。

取号段13813900000～13813999999为例，加扰后的密文集正好覆盖了号段内所有号码，并且没有重复。

号码加扰实例：

对号码18602561475进行加扰变换，密钥为“CE47317D4C7B420D”，加扰后变成18602567669。

若号码长度小于四位，则返回号码本身。

号码解扰算法位号码加扰算法的逆过程，结合加密时密钥和解扰方法即可方便得出号码。

本发明可以广泛应用于经数据库中隐私数据保护领域。通过在ETL向经分数据仓库装载大批量数据时，对需要保护的隐私数据进行格式保留的数据脱敏方法，使其以密文形式入库。保障了其数据安全性和数据格式的统一。对当前数据仓库的数据存储和当前运行的系统程序不会造成任何影响。本实施方式还可以在数据还原模块中根据需要还原数据原文信息。

Claims (4)

1.一种格式保留的数据脱敏方法，其特征在于：所述一种格式保留的数据脱敏方法包括GB2312中文字符集的编码结构、GBK等长加密算法、GBK等长解密算法、号码加扰算法和号码解扰算法，GB2312中文字符集的编码结构的范围在B0A0到F7EF之间，被划分成72个等长的单元区间，每个单元区间的编码分布相同，GBK等长加密算法的具体步骤如下：

步骤一、原文字符串循环取每一个字符ch；

步骤二、判断字符ch类型：

字符ch类型为中文字符执行步骤二（一），

步骤二（一）、将中文GB2312字符集分为三块大小相等的区域：A区、B区、C区，指定A区的主映射区为B区，B区的主映射区为C区，C区的主映射区为A区；

步骤二（二）、获取当前中文字所属编码区域A，及其在A中的偏移位置NP；

步骤二（三）、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤二（四）、获取转换后的字符位置newposition=对应主映射区起始位置+NP+OP；

步骤二（五）、判断newposition编码处是否有对应的中文字符：newposition编码处有对应的中文字符则获取此位置的中文字符On’；newposition编码处没有对应的中文字符返回原字符Cn’=ch；

字符ch类型为英文字符执行步骤三；

字符ch类型为为标点符号直接返回；

步骤三、用大小写英文字母加数字组成自定义字符集，字符集分成三块大小相等的区域：A区、B区、C区，指定A区的主映射区为B区，B区的主映射区为C区，C区的主映射区为A区；

步骤四、获取当前英文字符所属区域A及在A中的偏移量NP；

步骤五、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤六、获取转换后的字符位置newposition=对主映射区起始位置+NP+OP；

步骤七、获取此位置的中文字符En’；

步骤八、转换后的字符串=各字符相加。

2.GBK等长解密的具体步骤如下：

步骤一、密文字符串循环取每一个字符ch；

步骤二、判断字符ch类型：

字符ch为中文字符执行步骤二（一）；

步骤二（一）、获取中文字符ch的编码M；

步骤二（二）、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤二（三）、判断M’=M-OP的位置是否还在原区域：

M’=M-OP的位置还在原区域，说明此字符ch处于主映射区，从而确定原字符所属区域P，结合M、M’计算出ch原区域的偏移位置np；

M’=M-OP的位置不在原区域，说明此字符串当前属于从映射区，从而确定原字符所述区域P，结合M、M’计算出ch原区域的偏移位置np；

步骤二（四）、根据P和np获取原字符编码m；

步骤二（五）、获取此位置的中文字符Ch’；

字符ch为英文字符执行步骤三；

字符ch为标点符号直接返回；

步骤三、获取英文字符ch的编码M；

步骤四、获取动态偏移量OP，OP=（字符串长度+密钥的asdi值）mod区域长度；

步骤五、判断M’=M-OP的位置是否还在原区域：

M’=M-OP的位置还在原区域，说明此字符ch处于主映射区，从而确定原字符所属区域P，结合M、M’算出ch原区域的偏移位置np；

M’=M-OP的位置不在原区域，说明此字符ch处于从映射区，从而确定原字符所属区域P，结合M、M’算出ch原区域的偏移位置np；

步骤六、根据P和np获取原字符编码m；

步骤七、获取此位置的英文字符En’；

步骤八、转换后的字符串=各位字符粗加。

3.号码加扰算法的具体步骤如下：

步骤一、对号码的后四位进行变更，使其变成另外的四个数字，而保持整个号码字段的长度及数据类型不变；

步骤二、将16位密钥分为4组s1、s2、s3、s4，每组四位；

步骤三、计算后四位之前的数字和str；

步骤四、将每组密钥的ascii码值都加上str生成新的四组密钥sn[0]到sn[3]；

步骤五、将号码的后四位的每一位都和对应的sn[i](i=0,1,2,3)求和，再加上前一位num(i-1)，在经过数字对调和移位操作将最终生成新的后四位，与前面的号码拼接起来得到加扰后的号码。

4.号码解扰算法的具体步骤如下：

步骤一、取加密号码后四位，用后四位之和除以4获取偏移量；

步骤二、根据偏移量向左偏移，获取偏移后的后四位d[i](i=1,2,3,4)；

步骤三、根据密钥和号码前七位算出分组密钥Sn[i]；

步骤四、结合Sn[i],d[i]逆向算出原后四位；

步骤五、最后和前七位组合成原号码。