CN112765641A - 一种高效脱敏方法和装置 - Google Patents

Abstract

为提供一种能够保证所有仿真数据保持与源数据分类项一致，并且具有高质量、高安全性的数据仿真脱敏方案，发明人提供了一种高效脱敏方法，包括如下步骤：获取待脱敏信息，标记待识别为脱敏的字段和字段类型；获取用户密钥；获取一字段数据，根据所述字段数据在已建立好的动态字典中对所述待脱敏信息做索引处理，得到索引结果；根据所述索引结果和用户密钥获取偏移数据；根据所述索引结果和所述偏移数据获取仿真后数据。发明人同时提供了实现上述脱敏方法的高效脱敏装置，以动态字典加仿真密钥加密的方式，极大地提高了仿真数据的安全性，本方案能够在实现各个业务系统的测试需求时提供高质量的安全数据。

Description

一种高效脱敏方法和装置

技术领域

本发明涉及计算机软件领域，特别涉及证券业相关数据的一种高效脱敏方法和装置。

背景技术

随着信息技术的高速发展，在证券行业内大量的信息化系统在日常服役中不断处于需要更新和重建的状态，这也使得信息化系统的维护和更新成为了常态化工作。为了满足信息化系统的多样性和业务系统不断变化的业务需求，业务系统维护和开发的团队也不断面临着各种更高的要求和挑战，主要体现在为了满足业务系统的更新和新功能开发的要求，不仅需要提高开发效率，还需要对越来越复杂的系统进行质量保障工作。在这样的前提下，研发团队和测试团队都需要更多的真实数据来对系统进行验证和调优，才能更好地保证产品上线质量。

同时，在证券行业内又存在一种极其特殊的数据信息，即证券编码、证券名称、交易所的真实需求和基于交易所的保存对应关系。对于这种数据信息，简单的字典对比将很容易被破解，也将失去脱敏的意义；所以针对这类数据信息，需要提供独特的仿真脱敏算法才能保证对其安全性的高要求。

然而，现有静态脱敏产品和技术，更多的是基于通用的个人隐私数据，如身份证号，手机号，电子邮箱等进行遮蔽或仿真算法的脱敏处理。遮蔽方式主要是针对高敏数据进行一部分信息，通过*等无效字符进行替换，以达到降低数据敏感程度的目的。仿真则主要是通过符合数据格式要求的算法生产一个数据格式符合要求，但内容已经无意义的新数据进行替换，例如身份证号替换为完全符合mod11算的其他身份证号。对证券业特殊数据信息的基于基础数据进行分类后的脱敏需求，目前没有技术支持到分类级别；没有脱敏年防震技术能满足对不同证券编号不同编码格式的识别要求；现有技术所进行的简单对应替换操作往往容易造成很多重要数据信息流失，这将严重影响到应用的测试验证效果，甚至造成所有数据无法使用的情况。

发明内容

为此，需要提供一种能够保证所有仿真数据保持与源数据分类项一致，并且具有高质量、高安全性的数据仿真脱敏方案。

为实现上述目的，发明人提供了一种高效脱敏方法，包括如下步骤：

获取待脱敏信息，标记待识别为脱敏的字段和字段类型；

获取用户密钥；

获取一字段数据，根据所述字段数据在已建立好的动态字典中对所述待脱敏信息做索引处理，得到索引结果；

根据所述索引结果和用户密钥获取偏移数据；

根据所述索引结果和所述偏移数据获取仿真后数据。

进一步地，所述的高效脱敏方法中，所述“已建立好的动态字典”的建立方法包括如下步骤：

获取用户密钥、具有脱敏需求的数据源以及该数据源的第一分类标识；

根据第二分类标识对所述具有脱敏需求的数据源进行重聚类处理；

根据所述用户密钥获取偏移因子和图存储因子；

根据偏移因子以及图存储因子，基于重聚类处理后的数据源建立动态字典。

进一步地，所述的高效脱敏方法中，在步骤“基于重聚类处理后的数据源建立动态字典”后还包括步骤：基于所述动态字典和第二分类标识创建索引。

进一步地，所述的高效脱敏方法中，在所述步骤“根据所述索引结果和所述偏移数据获取仿真后数据”后还包括步骤：

获取另一字段数据并对其进行仿真处理，获取仿真后数据。

进一步地，所述的高效脱敏方法中，步骤“标记待识别为脱敏的字段和字段类型”中，对待识别为脱敏的字段和字段类型的标记为用户手动配置或系统自动配置。

发明人同时提供了一种高效脱敏装置，包括通讯单元、标记单元、索引单元、偏移单元以及仿真单元；

所述通讯单元用于获取待脱敏信息，所述标记单元用于标记待识别为脱敏的字段和字段类型；

所述通讯单元还用于获取用户密钥，并获取一字段数据，然后索引单元根据所述字段数据在已建立好的动态字典中对所述待脱敏信息做索引处理，得到索引结果；

偏移单元用于根据所述索引结果和用户密钥获取偏移数据；

仿真单元用于根据所述索引结果和所述偏移数据获取仿真后数据。

进一步地，所述的高效脱敏装置还包括存储单元，用于存储已建立好的动态字典；所述动态字典是通过如下方式获取的：

获取用户密钥、具有脱敏需求的数据源以及该数据源的第一分类标识；

根据第二分类标识对所述具有脱敏需求的数据源进行重聚类处理；

根据所述用户密钥获取偏移因子和图存储因子；

根据偏移因子以及图存储因子，基于重聚类处理后的数据源建立动态字典。

进一步地，所述的高效脱敏装置中，在动态字典的获取中，在基于重聚类处理后的数据源建立动态字典后，基于所述动态字典和第二分类标识创建索引。

进一步地，所述的高效脱敏装置中，在仿真单元完成对一字段数据的仿真处理后，通讯单元获取另一字段数据，仿真单元对其进行仿真处理，获取仿真后数据。

进一步地，所述的高效脱敏装置中，所述标记单元标记待识别为脱敏的字段和字段类型时，对待识别为脱敏的字段和字段类型的标记为用户手动配置或系统自动配置。

区别于现有技术，上述技术方案中采用的动态字典具有基于分类的索引结合基于位置的子类型图的特征，从而实现了客户对于例如不同证券编号和证券名称的强绑定的对应关系保持不变的要求，同时在仿真时又可以以交易所等其他分类作为分类项，保证所有仿真数据保持与源数据分类项一致的能力。同时，由于动态字典加仿真密钥加密的方式，极大地提高了仿真数据的安全性，本方案能够在实现各个业务系统的测试需求时提供高质量的安全数据。

附图说明

图1为本发明所述一种高效脱敏方法的流程图；

图2为本发明所述一种高效脱敏装置的结构图。

附图标记说明：

1-通讯单元

2-标记单元

3-索引单元

4-偏移单元

5-仿真单元

6-存储单元

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，为本发明所述一种高效脱敏方法的流程图；所述高效脱敏方法包括如下流程：

S0、建立动态字典，具体包括：

S01、获取用户密钥、具有脱敏需求的数据源以及该数据源的第一分类标识；

S02、根据第二分类标识对所述具有脱敏需求的数据源进行重聚类处理；

S03、根据所述用户密钥获取偏移因子和图存储因子；

S04、根据偏移因子以及图存储因子，基于重聚类处理后的数据源建立动态字典。

S05、基于所述动态字典和第二分类标识创建索引。

其中，步骤S01所述的数据源的第一分类标识，在本发明大部分实施方式中主要是指证券交易所的证券编号。由于在证券行业中有很多交易所，而不同交易所所具有的证券编号不同，这就存在一个需求：需要保证数据脱敏后仍然具有相同的第一分类标识，即证券号，必须与原始数据的证券号所在交易所一致，否则脱敏后数据将无法使用。

步骤S02里所述的重聚类处理，主要指的是重新聚合分类排序，因为步骤S01所获取的具有脱敏需求的数据源属于基础数据，可以视为一个大的字典池，而重聚类是基于这个“交易所原始字典”里的数据，并不选择所有源数据，而是选择一部分，然后按照所述的第二分类标识，例如多种不同格式的证券编码，或证券名称等，重新编排顺序和分类。

步骤S03所述的“偏移数据”其实就是脱敏仿真或者说加密的数据更改量，去改变每次匹配的起始位置，从而通过其随机性来提高安全性和达到加密目的。而此处所述的“图存储因子”也是为了进行脱敏时将字典匹配和密钥配合相结合，实现脱敏数据计算，二者结合进一步提高安全性和达到加密目的。

S1、获取待脱敏信息，标记待识别为脱敏的字段和字段类型；

其中，对待识别为脱敏的字段和字段类型的标记为用户手动配置或系统自动配置。在本发明的大量实施方式中，需要脱敏的字段首先要确认其数据敏感类型，例如将其识别为身份证号码类型，或是证券代码类型，可以进行手动设置或系统自动识别。

S2、获取用户密钥；

在某些实施方式中，在步骤S2和S3之间还存在一步骤S2.5：从待脱敏信息中按预设方案抽取部分信息。这一步骤可以是根据用户对于本次脱敏任务需求所进行的设置，可以是确认抽取所有待脱敏信息来进行后续处理，也可以是根据一定条件，例如时间范围、行数范围等预设的条件，来进行抽取一定数量的数据作为后续处理。

S3、从所述待脱敏信息中获取一字段数据，根据所述字段数据在已建立好的动态字典中对所述待脱敏信息做索引处理，得到索引结果；

S4、根据所述索引结果和用户密钥获取偏移数据；

S5、根据所述索引结果和所述偏移数据获取仿真后数据。

S6、从所述待脱敏信息中获取另一字段数据并对其进行仿真处理，并按步骤S3-S5所述相同方式获取仿真后数据。

上述的技术方案，通过密钥和基础数据源建立动态字典，该字典分为索引和基于分类列进行计算所得的子类型字典两部分，由于动态密钥算法是唯一的，这也就实现了子类型字典中数据位置的对应关系的一致性。其实质就是通过密钥建立了多种类型的图匹配对应关系，可以使用相同的索引进行偏移位置的确定，再通过唯一KEY的方式，隐含了对建立的多种类型图对应关系的保持，从而使得使用相同密钥的仿真算法可以始终保持多种类型的对应关系不丢失，这样一来，满足了脱敏后对数据质量的需求。

在客户业务系统需要高质量仿真数据时，通过数据分类属性进行一级索引处理，再通过仿真的随机密钥或客户配置密钥进行图匹配偏移量计算。由于所有子类型图均保持了其所属字段的位置关系，因此即使分别处理不同字段，也可以保证仿真后数据依然保留了其真实的所属关系和对应关系。

上述技术方案中采用的动态字典具有基于分类的索引结合基于位置的子类型图的特征，从而实现了客户对于例如不同证券编号和证券名称的强绑定的对应关系保持不变的要求，同时在仿真时又可以以交易所等其他分类作为分类项，保证所有仿真数据保持与源数据分类项一致的能力。同时，由于动态字典加仿真密钥加密的方式，极大地提高了仿真数据的安全性，本方案能够在实现各个业务系统的测试需求时提供高质量的安全数据。

发明人同时提供了一种高效脱敏装置，包括通讯单元1、标记单元2、索引单元3、偏移单元4以及仿真单元5；

所述通讯单元1用于获取待脱敏信息，所述标记单元2用于标记待识别为脱敏的字段和字段类型；所述标记单元2标记待识别为脱敏的字段和字段类型时，对待识别为脱敏的字段和字段类型的标记为用户手动配置或系统自动配置。其中，对待识别为脱敏的字段和字段类型的标记为用户手动配置或系统自动配置。在本发明的大量实施方式中，需要脱敏的字段首先要确认其数据敏感类型，例如将其识别为身份证号码类型，或是证券代码类型，可以进行手动设置或系统自动识别。

所述通讯单元1还用于获取用户密钥，并获取一字段数据，然后索引单元3根据所述字段数据在已建立好的动态字典中对所述待脱敏信息做索引处理，得到索引结果；

在部分实施方式中，对通讯单元1所获取的待脱敏信息进行全部或部分处理。也就是说，有时，并非全部处理待脱敏信息，而是按预设方案在其中抽取部分信息。这可以是根据用户对于本次脱敏任务需求所进行的设置，可以是确认抽取所有待脱敏信息来进行后续处理，也可以是根据一定条件，例如时间范围、行数范围等预设的条件，来进行抽取一定数量的数据作为后续处理。

偏移单元4用于根据所述索引结果和用户密钥获取偏移数据；

仿真单元5用于根据所述索引结果和所述偏移数据获取仿真后数据。

在某些实施方式中，在仿真单元5完成对一字段数据的仿真处理后，通讯单元1继续获取另一字段数据，仿真单元5对其进行仿真处理，获取仿真后数据。

进一步地，所述的高效脱敏装置还包括存储单元6，用于存储已建立好的动态字典；所述动态字典是通过如下方式获取的：

获取用户密钥、具有脱敏需求的数据源以及该数据源的第一分类标识；

根据第二分类标识对所述具有脱敏需求的数据源进行重聚类处理；

根据所述用户密钥获取偏移因子和图存储因子；

根据偏移因子以及图存储因子，基于重聚类处理后的数据源建立动态字典；在某些实施方式中，在基于重聚类处理后的数据源建立动态字典后，基于所述动态字典和第二分类标识创建索引。

其中，所述的数据源的第一分类标识，在本发明大部分实施方式中主要是指证券交易所的证券编号。由于在证券行业中有很多交易所，而不同交易所所具有的证券编号不同，这就存在一个需求：需要保证数据脱敏后仍然具有相同的第一分类标识，即证券号，必须与原始数据的证券号所在交易所一致，否则脱敏后数据将无法使用。

所述的重聚类处理，主要指的是重新聚合分类排序，因为在前所获取的具有脱敏需求的数据源属于基础数据，可以视为一个大的字典池，而重聚类是基于这个“交易所原始字典”里的数据，并不选择所有源数据，而是选择一部分，然后按照所述的第二分类标识，例如多种不同格式的证券编码，或证券名称等，重新编排顺序和分类。

所述的“偏移数据”其实就是脱敏仿真或者说加密的数据更改量，去改变每次匹配的起始位置，从而通过其随机性来提高安全性和达到加密目的。而此处所述的“图存储因子”也是为了进行脱敏时将字典匹配和密钥配合相结合，实现脱敏数据计算，二者结合进一步提高安全性和达到加密目的。

上述的技术方案，通过密钥和基础数据源建立动态字典，该字典分为索引，索引列基于分类列进行计算，子类型字典，由于动态密钥算法是唯一的，这也就实现了子类型字典中数据位置的对应关系的一致性。其实质就是通过密钥建立了多种类型的图匹配对应关系，可以使用相同的索引进行偏移位置的确定，再通过唯一KEY的方式，隐含了对建立的多种类型图对应关系的保持，从而使得使用相同密钥的仿真算法可以始终保持多种类型的对应关系不丢失，这样一来，满足了脱敏后对数据质量的需求。

在客户业务系统需要高质量仿真数据时，通过数据分类属性进行一级索引处理，再通过仿真的随机密钥或客户配置密钥进行图匹配偏移量计算。由于所有子类型图均保持了其所属字段的位置关系，因此即使分别处理不同字段，也可以保证仿真后数据依然保留了其真实的所属关系和对应关系。

上述技术方案中采用的动态字典具有基于分类的索引结合基于位置的子类型图的特征，从而实现了客户对于例如不同证券编号和证券名称的强绑定的对应关系保持不变的要求，同时在仿真时又可以以交易所等其他分类作为分类项，保证所有仿真数据保持与源数据分类项一致的能力。同时，由于动态字典加仿真密钥加密的方式，极大地提高了仿真数据的安全性，本方案能够在实现各个业务系统的测试需求时提供高质量的安全数据。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (10)

1.一种高效脱敏方法，其特征在于，包括如下步骤：

获取待脱敏信息，标记待识别为脱敏的字段和字段类型；

获取用户密钥；

获取一字段数据，根据所述字段数据在已建立好的动态字典中对所述待脱敏信息做索引处理，得到索引结果；

根据所述索引结果和用户密钥获取偏移数据；

根据所述索引结果和所述偏移数据获取仿真后数据。

2.如权利要求1所述的高效脱敏方法，其特征在于，所述“已建立好的动态字典”的建立方法包括如下步骤：

获取用户密钥、具有脱敏需求的数据源以及该数据源的第一分类标识；

根据第二分类标识对所述具有脱敏需求的数据源进行重聚类处理；

根据所述用户密钥获取偏移因子和图存储因子；

根据偏移因子以及图存储因子，基于重聚类处理后的数据源建立动态字典。

3.如权利要求2所述的高效脱敏方法，其特征在于，在步骤“基于重聚类处理后的数据源建立动态字典”后还包括步骤：基于所述动态字典和第二分类标识创建索引。

4.如权利要求1或2所述的高效脱敏方法，其特征在于，在所述步骤“根据所述索引结果和所述偏移数据获取仿真后数据”后还包括步骤：

获取另一字段数据并对其进行仿真处理，获取仿真后数据。

5.如权利要求1或2所述的高效脱敏方法，其特征在于，步骤“标记待识别为脱敏的字段和字段类型”中，对待识别为脱敏的字段和字段类型的标记为用户手动配置或系统自动配置。

6.一种高效脱敏装置，其特征在于，包括通讯单元、标记单元、索引单元、偏移单元以及仿真单元；

所述通讯单元用于获取待脱敏信息，所述标记单元用于标记待识别为脱敏的字段和字段类型；

所述通讯单元还用于获取用户密钥，并获取一字段数据，然后索引单元根据所述字段数据在已建立好的动态字典中对所述待脱敏信息做索引处理，得到索引结果；

偏移单元用于根据所述索引结果和用户密钥获取偏移数据；

仿真单元用于根据所述索引结果和所述偏移数据获取仿真后数据。

7.如权利要求6所述的高效脱敏装置，其特征在于，还包括存储单元，用于存储已建立好的动态字典；所述动态字典是通过如下方式获取的：

获取用户密钥、具有脱敏需求的数据源以及该数据源的第一分类标识；

根据第二分类标识对所述具有脱敏需求的数据源进行重聚类处理；

根据所述用户密钥获取偏移因子和图存储因子；

根据偏移因子以及图存储因子，基于重聚类处理后的数据源建立动态字典。

8.如权利要求7所述的高效脱敏装置，其特征在于，动态字典的获取中，在基于重聚类处理后的数据源建立动态字典后，基于所述动态字典和第二分类标识创建索引。

9.如权利要求6或7所述的高效脱敏装置，其特征在于，在仿真单元完成对一字段数据的仿真处理后，通讯单元获取另一字段数据，仿真单元对其进行仿真处理，获取仿真后数据。

10.如权利要求6或7所述的高效脱敏装置，其特征在于，所述标记单元标记待识别为脱敏的字段和字段类型时，对待识别为脱敏的字段和字段类型的标记为用户手动配置或系统自动配置。

Images