CN114091015A - 一种基于数据安全沙箱的数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种基于数据安全沙箱的数据处理方法及系统，获取原始数据，对原始数据所属标识进行分别加密；对原始数据进行脱敏处理，对于涉及隐私信息进行遮挡或符号化处理，形成数据集，接收业务模型的测试申请请求，并形成镜像，基于数据集中的测试数据对镜像业务模型进行测试，判断所述镜像业务模型是否将隐私信息转化为分类结果或判断结果，如果是，则对应的业务模型测试通过，接收数据查阅请求，确定请求中相匹配的数据所属标识，对所述数据所属标识进行二次加密，利用业务模型，得到分类结果或判断结果；将分类结果或判断结果反馈给请求方。本发明在保证数据安全的情况下，实现数据可用不可见，释放数据价值，实现数据隔离。

Description

一种基于数据安全沙箱的数据处理方法及系统

技术领域

本发明属于大数据处理技术领域，尤其涉及一种基于数据安全沙箱的数据处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着大数据技术发展，数据中蕴含的价值越来越被重视。但某些数据中含有一些隐私价值，如社保、纳税、健康等数据，不宜毫无保留的展示给某些客户端，但又在办理相关业务时需要体现其代表的价值或意义。如何在保证数据安全的情况下，将数据中的价值释放出来，成为急需解决的问题。

目前，在没有技术手段保证数据安全的情况下，针对申请上述数据的场景只能采用一刀切的方式，即要么不允许使用，数据的价值就无法发挥；要么将数据直接提供出去，数据的安全性就无法保证。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于数据安全沙箱的数据处理方法及系统，本发明在保证数据安全的情况下，实现数据可用不可见，释放数据价值，实现数据隔离。

为了实现上述目的，本发明采用如下技术方案：

一种基于数据安全沙箱的数据处理方法，在数据安全沙箱内执行，包括以下步骤：

获取原始数据，对原始数据所属标识进行分别加密；

对原始数据进行脱敏处理，对于涉及隐私信息进行遮挡或符号化处理，形成数据集；

获取数据集中的部分数据，作为测试数据；

接收业务模型的测试申请请求，并将业务模型形成镜像，基于测试数据对镜像业务模型进行测试，判断所述镜像业务模型是否将隐私信息转化为分类结果或判断结果，如果是，则对应的业务模型测试通过，否则，发送业务模型测试失败消息；

接收数据查阅请求，确定请求中相匹配的数据所属标识，对所述数据所属标识进行二次加密，利用通过测试的业务模型，对该数据所属标识下的隐私数据进行处理，得到分类结果或判断结果；

将分类结果或判断结果反馈给请求方。

作为可选择的实施方式，所述数据安全沙箱，包括测试区、模型区、数据区和监控区，所述测试区用于进行业务模型的测试，所述模型区用于存储测试成功的业务模型，所述数据区用于存储数据集，所述监控区用于存储模型区和数据区的访问日志。

作为可选择的实施方式，所述测试区、模型区之间设置有镜像仓库，所述镜像仓库用于形成并存储业务模型的镜像，形成镜像业务模型。

作为可选择的实施方式，所述测试区和数据区之间设置有数据网关。

作为可选择的实施方式，所述加密时利用对称加密算法进行加密。

作为可选择的实施方式，在接收业务模型的测试申请请求前，对请求方进行身份和权限验证，通过验证后，再执行相应步骤。

作为可选择的实施方式，在接收数据查阅请求前，对请求方进行身份和权限验证，通过验证后，根据验证信息寻找相匹配的业务模型，利用相匹配的业务模型进行数据处理。

一种基于数据安全沙箱的数据处理系统，包括：

加密模块，被配置为获取原始数据，对原始数据所属标识进行分别加密；

脱敏模块，被配置为对原始数据进行脱敏处理，对于涉及隐私信息进行遮挡或符号化处理，形成数据集；

测试集构建模块，被配置为获取数据集中的部分数据，作为测试数据；

业务模型测试模块，被配置为接收业务模型的测试申请请求，并将业务模型形成镜像，基于测试数据对镜像业务模型进行测试，判断所述镜像业务模型是否将隐私信息转化为分类结果或判断结果，如果是，则对应的业务模型测试通过，否则，发送业务模型测试失败消息；

数据处理模块，被配置为接收数据查阅请求，确定请求中相匹配的数据所属标识，对所述数据所属标识进行二次加密，利用通过测试的业务模型，对该数据所属标识下的隐私数据进行处理，得到分类结果或判断结果；

结果反馈模块，被配置为将分类结果或判断结果反馈给请求方。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的方法中的步骤。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的方法中的步骤。

与现有技术相比，本发明的有益效果是：

本发明在保证数据安全的情况下，让业务模型在受控的模型区服务业务调用，通过网关加密屏蔽数据标识，有效避免业务模型获取具体调用的数据标识，保证调用时数据的安全。

本发明通过数据区的加密脱敏保证了数据沙箱内数据存储的安全性；利用对称加密算法进一步保证了方案的安全性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明至少一个实施例中的数据安全沙箱的实现示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提出基于数据安全沙箱的数据处理方法及系统，能够在数据安全沙箱内进行数据的处理和展示，以隐藏具体数据。

下面以具体实施方式来进行描述。

实施例一

基于数据安全沙箱的数据处理方法，在数据安全沙箱内执行，包括以下步骤：

获取原始数据，对原始数据所属标识进行分别加密；

对原始数据进行脱敏处理，对于涉及隐私信息进行遮挡或符号化处理，形成数据集；

获取数据集中的部分数据，作为测试数据；

接收业务模型的测试申请请求，并将业务模型形成镜像，基于测试数据对镜像业务模型进行测试，判断所述镜像业务模型是否将隐私信息转化为分类结果或判断结果，如果是，则对应的业务模型测试通过，否则，发送业务模型测试失败消息；

接收数据查阅请求，确定请求中相匹配的数据所属标识，对所述数据所属标识进行二次加密，利用通过测试的业务模型，对该数据所属标识下的隐私数据进行处理，得到分类结果或判断结果；

将分类结果或判断结果反馈给请求方。

实施例二

以银行贷款业务应用需要知道纳税人上年的纳税金额来发放对应的贷款额度为应用场景，对实施例一提供的方法进行进一步的说明。

纳税人上年的纳税金额作为隐私数据，是不应该透漏给银行贷款业务应用办理人员的，但是，又需要知道纳税人是否有能力偿还所申请的贷款额度时，应用实施例一提供的方法，可以隐去纳税金额的具体数据，只告知银行贷款业务应用办理人员，该纳税人是否有能力偿还哪一级别的贷款额度。

在本实施例中，为方便理解，以纳税金额5000为示例进行说明，如果纳税金额等于等于5000，则说明该纳税人有资格获取相应等级的贷款，即5000以内为等级1,5000以上为等级2。

当然，上述金额和应用场景仅为示例性说明，并不代表本发明仅限于保护此方案。

首先介绍下数据安全沙箱，如图1所示，包括测试区、模型区、数据区和监控区。测试区、模型区之间设置有镜像仓库，测试区和数据区之间设置有数据网关。

具体的，测试区供模型研发团队进行模型测试，测试通过的模型提交到镜像仓库；

模型区从镜像仓库拉取镜像，启动容器服务与接口调用，容器内的模型只能调用数据区API获取加密脱敏后的数据，仅用于内存计算。

数据区负责存储脱敏加密后的数据，通过数据API网关给模型提供数据调用服务，模型区模型接触不到原始数据。

监控区记录调用日志，并上传到区块链防止访问数据非法篡改，用于定期数据调用审计。

外部业务团队仅能直接接触测试区，间接触达模型区，无法触及数据区和监控区。测试区的开放有利于业务模型的开发测试。

内部运营团队负责模型区的部署，数据区的维护和监控区的维护，团队分离有效保障内部数据安全。

请求经过模型网关时自动完成数据标识对称加密算法加密，模型收到的请求参数就是密文，模型无法根据请求参数反推调用的数据标识。

模型调用数据网关API时，数据网关利用模型区的加密机解密后再用模型区加密机加密，以防模型区秘钥泄露，影响数据区的数据安全，同时数据网关API返回的结果不含数据标识，有效避免模型记录数据标识和返回结果照成数据泄露。

原始数据不落盘，在数据区只存储加密脱敏后数据，即使数据库出现泄漏，不通过数据区的加密机解密也不会泄漏用户信息。

应用调用业务模型接口，业务模型调用数据接口都需要提前申请，授权后才能访问对应接口。模型接口权限控制到业务应用，数据接口权限控制到业务模型，实现细粒度接口访问权限控制。

接口调用日志记录入参和返回值、响应时间等信息，并将数据打包上传到区块链，保证访问记录的不可篡改性，确保基于访问日志审计的有效性。

具体进行业务应用的响应时，包括以下步骤：

步骤1，数据运维团队获取纳税人纳税的原始数据，对纳税明细数据进行处理。对身份证号(数据标识)调用数据区加密机内置的对称算法进行加密，对纳税人姓名等信息进行脱敏处理如姓名只保留姓氏，其余用***符号进行脱敏，纳税金额原值存储。将每月的纳税数据处理后存储到数据区的数据集市中。

步骤2，数据运维团队，配置根据纳税人数据标识和年份返回纳税明细的数据接口。发布到数据区的数据网关，并在测试区生成仿真API接口。

步骤3，业务模型开发团队(银行贷款业务方)，申请测试空间，并申请模型调用接口的权限，在测试区进行模型的开发测试。

步骤4，数据运维团队对申请的业务模型进行测试，测试通过后，将包含模型容器发布成镜像提交到镜像仓库。并提交模型上线申请，提交模型说明和代码进行模型审查。

步骤5，审核通过后，数据运营团队从镜像仓库拉取镜像，并在模型区运行包含模型的容器，并将模型接口发布到模型网关。

步骤6，业务模型开发团队申请应用调用模型接口的权限。

步骤7，数据运营团队审核模型调用方的合法性后，授权业务应用调用模型接口的权限。

经过步骤1-7的准备，业务模型开发团队在不接触政务数据的情况下，就可以利用业务模型返回加工后的结果了，实现了数据的可用不可见。

步骤8，业务应用调用模型网关上的纳税模型接口，传入纳税人的数据标识(在本实施例中，可以为纳税人的身份证号码，以37xxx为例)。

步骤9，模型网关收到调用请求后，将纳税人的数据标识(37xxx)利用模型区的加密机内置的对称加密算法加密，纳税人数据标识加密后变为(MXJMxxx),并将加密后的数据标识替换参数传入到业务模型内。

步骤10，业务模型收到数据标识(MXJMxxx)，直接利用该数据标识调用数据API接口，所以加密并不影响业务模型的运行，同时加密后模型无法利用加密后的数据标识反推身份证号，就可以有效避免模型记录敏感数据照成数据非法泄露。

步骤11，数据网关接收到数据请求后，将纳税人数据标识(MXJMxxx)利用模型区加密机解密为将纳税人的数据标识(37xxx)，然后再调用模型区加密机内置的对称加密算法完成纳税人数据标识的二次加密(SJJMxxx)。与数据准备阶段采用相同秘钥和相同加密算法就能实现数据标识的对应。

本实施例利用双加密机双秘钥体系，大大降低了数据库泄露风险，

步骤12，数据开发API查询出对应纳税人数据后返回纳税明细List,并屏蔽到数据标识列。

步骤13，数据网关记录数据接口调用日志，因为无敏感信息可以直接记录入参和返回值，并上链数据，以备后续审计和查错。

步骤14，业务模型拿到纳税明细列表的数据，对每月的纳税金额进行求和与5000对比，如果小于5000返回1，大于等于5000返回2。业务模型通过调用参数和数据接口的返回值，都无法推断出数据是具体哪个纳税人的，从技术上保证了政务数据的可用不可见。

步骤15，模型网关记录数据接口调用日志，因为无敏感信息可以直接记录入参和返回值，并上链数据，以备后续审计和查错。

步骤16，平台运行团队通过访问日志定期巡检个模型的运行情况，针对可疑模型可以执行下架处理。

以上就通过管理和技术两个层面保证了政务数据的可用不可见。同时访问日志上区块链也有效保证了访问数据审计的有效性。

当然，在其他实施例中，可以将对称算法根据具体情况更换SM1\SM3\DES\AES等对称加密算法。

实施例三

一种基于数据安全沙箱的数据处理系统，包括：

加密模块，被配置为获取原始数据，对原始数据所属标识进行分别加密；

脱敏模块，被配置为对原始数据进行脱敏处理，对于涉及隐私信息进行遮挡或符号化处理，形成数据集；

测试集构建模块，被配置为获取数据集中的部分数据，作为测试数据；

业务模型测试模块，被配置为接收业务模型的测试申请请求，并将业务模型形成镜像，基于测试数据对镜像业务模型进行测试，判断所述镜像业务模型是否将隐私信息转化为分类结果或判断结果，如果是，则对应的业务模型测试通过，否则，发送业务模型测试失败消息；

数据处理模块，被配置为接收数据查阅请求，确定请求中相匹配的数据所属标识，对所述数据所属标识进行二次加密，利用通过测试的业务模型，对该数据所属标识下的隐私数据进行处理，得到分类结果或判断结果；

结果反馈模块，被配置为将分类结果或判断结果反馈给请求方。

实施例四

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一或实施例二中的步骤。

实施例五

本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一或实施例二中的步骤。

本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于数据安全沙箱的数据处理方法，在数据安全沙箱内执行，其特征是：包括以下步骤：

获取原始数据，对原始数据所属标识进行分别加密；

对原始数据进行脱敏处理，对于涉及隐私信息进行遮挡或符号化处理，形成数据集；

获取数据集中的部分数据，作为测试数据；

接收业务模型的测试申请请求，并将业务模型形成镜像，基于测试数据对镜像业务模型进行测试，判断所述镜像业务模型是否将隐私信息转化为分类结果或判断结果，如果是，则对应的业务模型测试通过，否则，发送业务模型测试失败消息；

接收数据查阅请求，确定请求中相匹配的数据所属标识，对所述数据所属标识进行二次加密，利用通过测试的业务模型，对该数据所属标识下的隐私数据进行处理，得到分类结果或判断结果；

将分类结果或判断结果反馈给请求方。

2.如权利要求1所述的一种基于数据安全沙箱的数据处理方法，其特征是：所述数据安全沙箱，包括测试区、模型区、数据区和监控区，所述测试区用于进行业务模型的测试，所述模型区用于存储测试成功的业务模型，所述数据区用于存储数据集，所述监控区用于存储模型区和数据区的访问日志。

3.如权利要求2所述的一种基于数据安全沙箱的数据处理方法，其特征是：所述测试区、模型区之间设置有镜像仓库，所述镜像仓库用于形成并存储业务模型的镜像，形成镜像业务模型。

4.如权利要求2所述的一种基于数据安全沙箱的数据处理方法，其特征是：所述测试区和数据区之间设置有数据网关。

5.如权利要求1所述的一种基于数据安全沙箱的数据处理方法，其特征是：所述加密时利用对称加密算法进行加密。

6.如权利要求1所述的一种基于数据安全沙箱的数据处理方法，其特征是：在接收业务模型的测试申请请求前，对请求方进行身份和权限验证，通过验证后，再执行相应步骤。

7.如权利要求1所述的一种基于数据安全沙箱的数据处理方法，其特征是：在接收数据查阅请求前，对请求方进行身份和权限验证，通过验证后，根据验证信息寻找相匹配的业务模型，利用相匹配的业务模型进行数据处理。

8.一种基于数据安全沙箱的数据处理系统，其特征是：包括：

加密模块，被配置为获取原始数据，对原始数据所属标识进行分别加密；

脱敏模块，被配置为对原始数据进行脱敏处理，对于涉及隐私信息进行遮挡或符号化处理，形成数据集；

测试集构建模块，被配置为获取数据集中的部分数据，作为测试数据；

业务模型测试模块，被配置为接收业务模型的测试申请请求，并将业务模型形成镜像，基于测试数据对镜像业务模型进行测试，判断所述镜像业务模型是否将隐私信息转化为分类结果或判断结果，如果是，则对应的业务模型测试通过，否则，发送业务模型测试失败消息；

数据处理模块，被配置为接收数据查阅请求，确定请求中相匹配的数据所属标识，对所述数据所属标识进行二次加密，利用通过测试的业务模型，对该数据所属标识下的隐私数据进行处理，得到分类结果或判断结果；

结果反馈模块，被配置为将分类结果或判断结果反馈给请求方。

9.一种计算机可读存储介质，其特征是：其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法中的步骤。

10.一种计算机设备，其特征是：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的方法中的步骤。

Images