CN115577376A - 一种多方联合数据的安全共享利用方法 - Google Patents

Abstract

本发明提供一种多方联合数据的安全共享利用方法，属于数据计算与资源管理技术领域，解决了如何实现多方数据的利用与计算资源的协同管理问题；包括：构建计算平台，用于为数据的安全共享利用提供可扩展的存储管理和计算资源管理服务，构建流程处理平台，用于数据计算任务的任务发起、配置、多方协调、中间传输和结果管理，构建信任网络环境，编写算法组件，针对不同的数据计算任务的配置，为每一种配置编写与之固定适配的算法组件，最后在信任网络环境下根据编写好的算法组件进行数据计算任务，实现多方计算并获得结果；本发明满足了多方对大批量的数据和复杂的计算资源消耗的需求，从而使得数据的分析处理与流通利用过程更加高效。

Description

一种多方联合数据的安全共享利用方法

技术领域

本发明属于数据计算与资源管理技术领域，具体涉及一种多方联合数据的安全共享利用方法。

背景技术

人工智能、云计算、物联网和大数据等新一代信息技术的快速发展使得全球进入数据经济时代，各行各业的数据量迅猛增长、广泛分布，并通过人工智能算法充分发挥其中蕴含的商业价值，促使各行各业走向数字化和智能化。数据已经成为比肩石油的基础性关键战略资源，正在颠覆全球社会的发展模式。数据作为一种新型生产要素参与分配，作为释放要素价值的关键环节，数据资源的开放共享和交换流通成为重要趋势，其需求也日益强烈。

然而，在现有的分析处理数据和数据流通利用的过程中，也暴露出一系列未能突破的技术要点，主要体现在以下三个方面：

1、数据价值依赖计算资源：数据与传统生产要素(例如土地资源、能源资源)的最大不同在于，数据需要在不同信息系统之间、不同机构之间流通、共享，依托算力资源和算法能力，经过统计和分析等数据生产手段后，才能释放生产价值。但是如今日益增长的数据量和所需的计算资源不匹配，数据的价值不能充分的被利用。

2、数据孤岛阻塞数据流通利用：随着数字经济的发展，数据对于生产经营活动的重要性越发凸显，越来越多的生产和经营活动都需要大量且广泛的数据作为支撑；而“数据孤岛”的存在，阻碍了数据跨系统、跨组织、跨领域的流通、共享和应用，导致数据要素价值无法有效释放、企业的数据需求无法有效满足；同时，公司企业间的数据流通也要满足隐私保护和数据安全的原则。

3、数据和算法模型依赖异地算力：传统的计算方式难以解决人工智能大数据训练算力的问题，公司拥有潜力巨大的数据，但是仅仅依靠自身的计算资源难以训练出效果好的模型，现有技术缺失一种能安全的分享数据，又满足合法合规的要求，来解决数据和算法模型的算力不足的方法。

总结上述三个方面的内容，目前存在的技术问题可主要概况为：

1、如何面对单个机器计算资源受限的情况。

2、在不泄露原始数据的情况下，如何才能联合多个数据持有方，完成共同的数据计算目标。

3、在不泄露原始数据的情况下，如何安全有效的让计算力不足的数据持有方，使用计算力充足的数据计算方的计算资源，并同时满足多方需求。

发明内容

本发明提供了一种多方联合数据的安全共享利用方法，解决了背景技术中提到的技术问题，通过分布式计算平台、多方协调、数据传输加密和计算资源协调等机制，满足了多方对大批量的数据和复杂的计算资源消耗的需求，从而使得数据的分析处理与流通利用过程更加高效。

本发明采用了以下技术方案来实现目的：

一种多方联合数据的安全共享利用方法，包括五个阶段：

阶段一为构建计算平台，所述计算平台用于为数据的安全共享利用提供可扩展的存储管理和计算资源管理服务；

阶段二为构建流程处理平台，所述流程处理平台用于数据计算任务的任务发起、配置、多方协调、中间传输和结果管理；

阶段三为构建信任网络环境；

阶段四为编写算法组件，针对不同的数据计算任务的配置，为每一种配置编写与之固定适配的算法组件；

阶段五为多方计算，在所述信任网络环境下，通过所述流程处理平台和所述计算平台，根据编写好的算法组件，进行数据计算任务，获得结果。

进行阶段一时，所述构建计算平台的具体步骤如下：

S1.1、创建集群服务；

S1.2、创建节点管理服务；

所述集群服务应用于分布式系统中，集群服务统一管理所述分布式系统中的所有数据资源，并为所述节点管理服务提供节点信息注册接口；所述集群服务对用户提供集群管理与申请计算资源的接口；

所述节点管理服务用于管理所在节点的数据存储资源和计算资源；所述节点管理服务还用于创建数据存储表和计算进程。

具体的，所述算法组件包括对所述数据存储表进行计算操作的代码。

进行阶段二时，所述构建流程处理平台的具体步骤如下：

S2.1、提供算法组件编写规范，所述算法组件编写规范包括输入输出规范、角色规范、数据传输规范和算法参数规范；

S2.2、提供任务配置编写规范，所述任务配置为单次数据计算任务中的信息，所述信息包括：参与方信息、任务协调方信息和算法组件参数信息；

S2.3、创建任务调度服务，所述任务调度服务用于对用户提交的任务配置中的信息进行解析，并分发至参与方和任务协调方。

具体的，步骤S2.1中，所述输入输出规范用于保证算法组件执行时和执行完成后对应的数据存储表类型相一致；所述角色规范用于划分多个参与方需要完成的不同计算任务；所述数据传输规范用于确定多个参与方之间在不同的任务配置下进行数据传输时的内容和方式；所述算法参数规范用于使算法组件得以持久化存储于节点中。

进行阶段三时，所述构建信任网络环境包括：

S3.1、创建路由服务，所述路由服务通过配置参与方的ID信息，为所述流程处理平台解耦所有参与方的身份信息和网络地址间的依赖；所述路由服务通过配置认证证书的方式实现所有参与方的身份认证，所述路由服务还用于为所述任务调度服务提供所有参与方和任务协调方之间的信息传输服务。

进行阶段四时，所述编写算法组件的具体步骤如下：

S4.1、编写单方算法组件，所述单方算法组件应用于只有一个参与方的数据计算任务的配置中；

S4.2、编写多方算法组件，所述多方算法组件应用于具有多个参与方或多个参与方和至少一个任务协调方的数据计算任务的配置中；

S4.3、编写异地算法组件，所述异地算法组件应用于部分参与方拥有数据但计算资源有限，部分参与方无数据但拥有计算资源的数据计算任务的配置中。

具体的，所述多方算法组件和异地算法组件进行过程中，数据在多个参与方之间加密传输，加密传输后进行的算法组件计算为同态加密计算；所述任务协调方还用于加密传输数据的解密过程。

进行阶段五时，所述多方计算的具体步骤如下：

S5.1、进行数据提交任务，所述数据提交任务用于根据用户提交的数据计算任务，生成数据计算任务的配置信息；

S5.2、进行算法执行任务，使用编写好的算法组件，将数据计算任务的配置信息发送至参与方的任务调度服务，进行数据计算；

S5.3、获取数据计算结果，从任务调度服务中获取计算后的数据存储表。

综上所述，由于采用了本技术方案，本发明的有益效果如下：

本发明通过建立分布式系统的计算平台，通过扩展执行机器，来扩展存储和计算能力，从而满足大批量的数据处理和复杂的计算资源消耗能力；建立多方协调机制，协同方能通过流程处理平台清楚的知道在每个阶段需要完成的计算功能；建立数据传输机制，让计算中间数据通过同态加密后传输到协同方进行下一步计算；数据同态加密保证了中间数据的可用，且不可见，杜绝了数据泄露的风险；建立计算资源协调机制，让有数据、缺少计算资源的一方，能使用其他有计算资源的一方进行数据计算。

因此，本发明的方法解决了数据存储和计算资源有限的现有应用环境中的数据利用问题，实现了分布式的计算和存储功能；本发明解决了数据孤岛的存在问题，在保证数据安全性的前提下联合利用了多方数据；同时为本方计算能力不足，如何利用其它计算资源充足的参与方进行数据计算的设计提供解决思路。

附图说明

图1为本发明的方法的整体架构图；

图2为本发明的方法进行应用时的部署示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以按各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种多方联合数据的安全共享利用方法，包括五个阶段：

阶段一为构建计算平台，所述计算平台用于为数据的安全共享利用提供可扩展的存储管理和计算资源管理服务；

阶段二为构建流程处理平台，所述流程处理平台用于数据计算任务的任务发起、配置、多方协调、中间传输和结果管理；

阶段三为构建信任网络环境；

阶段四为编写算法组件，针对不同的数据计算任务的配置，为每一种配置编写与之固定适配的算法组件；

阶段五为多方计算，在所述信任网络环境下，通过所述流程处理平台和所述计算平台，根据编写好的算法组件，进行数据计算任务，获得结果。

进行阶段一时，计算平台为整个多方联合数据的安全共享利用提供可扩展的存储管理和计算资源管理，可参看图1和图2，构建计算平台的具体步骤如下：

S1.1、创建集群服务；

S1.2、创建节点管理服务；

所述集群服务应用于分布式系统中，集群服务统一管理所述分布式系统中的所有数据资源，并为所述节点管理服务提供节点信息注册接口；所述集群服务对用户提供集群管理与申请计算资源的接口；

如图2所示，所述节点管理服务用于管理所在节点的数据存储资源和计算资源；所述节点管理服务还用于创建数据存储表和计算进程；当数据存储表创建成功时，将返回数据存储表所对应的引用信息，计算平台的使用者可通过引用信息来引用存入和获取数据；当计算进场创建成功时，会被注册到计算驱动进场中，等待发起计算。

进行阶段二时，所述构建流程处理平台的具体步骤如下：

S2.1、提供算法组件编写规范，所述算法组件编写规范包括输入输出规范、角色规范、数据传输规范和算法参数规范；

S2.2、提供任务配置编写规范，所述任务配置为单次数据计算任务中的信息，所述信息包括：参与方信息、任务协调方信息和算法组件参数信息；

S2.3、创建任务调度服务，所述任务调度服务用于对用户提交的任务配置中的信息进行解析，并分发至参与方和任务协调方。

流程处理平台是本实施例的核心部分，为数据计算任务的发起、任务的配置解析、各个参与方任务的协调、资源的配置、任务中算法组件的执行、中间数据的传输和算法组件结果的管理等提供了支撑。

在步骤S2.1中，与数据存储表有关，算法组件包括对所述数据存储表进行计算操作的代码，因此算法组件为后续对数据存储表中的数据进行计算的重要组成部分，相应的算法组件编写规范便起到约束算法组件的标准化的作用。

具体的，步骤S2.1中，所述输入输出规范用于保证算法组件执行时和执行完成后对应的数据存储表类型相一致；所述角色规范用于划分多个参与方需要完成的不同计算任务；所述数据传输规范用于确定多个参与方之间在不同的任务配置下进行数据传输时的内容和方式；所述算法参数规范用于使算法组件得以持久化存储于节点中。

其中，输入输出规范：算法组件执行时需要数据存储表算法参数和一些额外的超参数。执行完成后可能会输出数据存储表和算法参数。这种输入输出的设计方式让算法组件有更好的复用性，并且可以按各组合方式来实现不同的计算效果。

角色规范指对于同一个算法组件，每个参与方要完成的计算可能并不一致，角色的存在就是为了区分算法组件在不同参与方中所执行不同的计算。

传输数据规范：每个参与方之间会进行数据的交互。不同角色之间，相同角色之间都可能进行数据的传输。数据的传输可以是基于角色的；也可以是基于某个角色下的某个参与方的。数据传输的内容包括：数据存储表和内存中某个对象。

算法参数规范：数据存储表是数据已经在节点中持久化存储的体现，不需要再提供额外的存储方式。因此算法参数作为一个输出，同时又可以是输入，也需要以一种方式持久化的存储，方便用户的获取，和下一个算法组件的读入，因此设计算法参数规范，使不同的算法组件具有标准化的类型形式，方便重复使用。

完成算法组件编写规范后，即进行任务配置编写规范；在任务配置所涉及到的信息中，参与方信息指本次数据计算任务涉及哪些角色，每个角色中由有哪些参与方；任务协调方信息则指：当多个参与方存在时，可能就有多个调度计算平台，可以指定由其中一个参与方来协调当前的数据计算任务；算法组件参数信息则包括：使用到哪些算法组件，每个算法组件的输入和输出，以及算法组件依据输入输出的上下游关系，同时对于每一个参与方，均需对每一个算法组件进行超参数的配置操作。

上述信息均设定明确后，本次进行的数据计算任务的任务配置就完成，能依据任务配置进行多方计算。

在步骤S2.3中，任务调度服务对用户提交的任务配置进行解析，根据任务配置中的参与方信息，将任务配置分发至对应的参与方；参与方收到后，解析配置组件关系，形成执行DAG；控制多方一并执行同一个算法组件；启动在节点管理服务中注册的计算驱动进程，加载算法组件执行多方计算，同时，任务调度服务还提供参与方数据传输的基础支持。

进行阶段三时，所述构建信任网络环境包括：

S3.1、创建路由服务，每个参与方需要有自己的身份，并且需要知道别人的身份和网络地址，才能进行数据通信；所述路由服务通过配置参与方的ID信息，为所述流程处理平台解耦所有参与方的身份信息和网络地址间的依赖；所述路由服务通过配置认证证书的方式实现所有参与方的身份认证，所述路由服务还用于为所述任务调度服务提供所有参与方和任务协调方之间的数据和信息传输服务。

有了数据存储计算、算法组件编写规范、任务调度、数据传输等相关支持后，便可以针对不同的使用场景，即不同的任务配置，来编写固定的算法组件。

进行阶段四时，所述编写算法组件的具体步骤如下：

S4.1、编写单方算法组件，所述单方算法组件应用于只有一个参与方的数据计算任务的配置中；

S4.2、编写多方算法组件，所述多方算法组件应用于具有多个参与方或多个参与方和至少一个任务协调方的数据计算任务的配置中；

S4.3、编写异地算法组件，所述异地算法组件应用于部分参与方拥有数据但计算资源有限，部分参与方无数据但拥有计算资源的数据计算任务的配置中。

所述多方算法组件和异地算法组件进行过程中，数据在多个参与方之间加密传输，加密传输后进行的算法组件计算为同态加密计算；所述任务协调方还用于加密传输数据的解密过程。

具体而言，单方算法组件只涉及单方，不使用多方任务调度和数据传输等服务，不涉及角色的定义；所有存储和计算资源都在本方，为常规的数据计算服务。

多方算法组件中，数据属于多方持有，多要联合多方数据才能完成的计算任务；每个参与方不同的角色，分别执行不同的计算逻辑。参与方之间需要加密传输数据，传输后进行的计算是同态加密计算，保证所有的原始数据和中间传输数据都不泄露给对方。因此加密数据的解密可能会用到一个没有数据，不参与计算任务的协调方进行辅助。

异地算法组件中，拥有数据的一方计算资源有限，没有数据的一方计算资源很多。为了充分利用计算资源，数据拥有方将数据加密传输到计算方。数据拥有方发起计算任务，指导计算方进行加密计算。计算完成后，数据拥有方获取到计算结果，解密结果。

进行阶段五时，所述多方计算的具体步骤如下：

S5.1、进行数据提交任务，所述数据提交任务用于根据用户提交的数据计算任务，生成数据计算任务的配置信息；

S5.2、进行算法执行任务，使用编写好的算法组件，将数据计算任务的配置信息发送至参与方的任务调度服务，进行数据计算；

S5.3、获取数据计算结果，从任务调度服务中获取计算后的数据存储表。

其中，数据提交任务主要确定本次计算类型为单方计算或多方计算，将数据明文提交到本方；异地计算则由数据拥有方加密提交数据到计算方。

算法执行任务将定义并使用算法组件，确定参与方信息和算法组件参数等信息，将数据计算任务的配置信息发送至参与方的任务调度服务后，相应的算法组件开始进行数据计算；

获取数据计算结果时，单方计算和异地计算在本方的任务调度服务中可获取到数据存储表和数据模型等结果；多方计算各个参与方可从自身的任务调度服务中获取数据存储表和数据模型等结果。

Claims (9)

1.一种多方联合数据的安全共享利用方法，其特征在于，包括：

构建计算平台，所述计算平台用于为数据的安全共享利用提供可扩展的存储管理和计算资源管理服务；

构建流程处理平台，所述流程处理平台用于数据计算任务的任务发起、配置、多方协调、中间传输和结果管理；

构建信任网络环境；

编写算法组件，针对不同的数据计算任务的配置，为每一种配置编写与之固定适配的算法组件；

多方计算，在所述信任网络环境下，通过所述流程处理平台和所述计算平台，根据编写好的算法组件，进行数据计算任务，获得结果。

2.根据权利要求1所述的一种多方联合数据的安全共享利用方法，其特征在于，所述构建计算平台的具体步骤如下：

S1.1、创建集群服务；

S1.2、创建节点管理服务；

所述集群服务应用于分布式系统中，集群服务统一管理所述分布式系统中的所有数据资源，并为所述节点管理服务提供节点信息注册接口；所述集群服务对用户提供集群管理与申请计算资源的接口；

所述节点管理服务用于管理所在节点的数据存储资源和计算资源；所述节点管理服务还用于创建数据存储表和计算进程。

3.根据权利要求2所述的一种多方联合数据的安全共享利用方法，其特征在于：所述算法组件包括对所述数据存储表进行计算操作的代码。

4.根据权利要求2所述的一种多方联合数据的安全共享利用方法，其特征在于，所述构建流程处理平台的具体步骤如下：

S2.1、提供算法组件编写规范，所述算法组件编写规范包括输入输出规范、角色规范、数据传输规范和算法参数规范；

S2.2、提供任务配置编写规范，所述任务配置为单次数据计算任务中的信息，所述信息包括：参与方信息、任务协调方信息和算法组件参数信息；

S2.3、创建任务调度服务，所述任务调度服务用于对用户提交的任务配置中的信息进行解析，并分发至参与方和任务协调方。

5.根据权利要求4所述的一种多方联合数据的安全共享利用方法，其特征在于：步骤S2.1中，所述输入输出规范用于保证算法组件执行时和执行完成后对应的数据存储表类型相一致；所述角色规范用于划分多个参与方需要完成的不同计算任务；所述数据传输规范用于确定多个参与方之间在不同的任务配置下进行数据传输时的内容和方式；所述算法参数规范用于使算法组件得以持久化存储于节点中。

6.根据权利要求4所述的一种多方联合数据的安全共享利用方法，其特征在于，所述构建信任网络环境包括：

S3.1、创建路由服务，所述路由服务通过配置参与方的ID信息，为所述流程处理平台解耦所有参与方的身份信息和网络地址间的依赖；所述路由服务通过配置认证证书的方式实现所有参与方的身份认证，所述路由服务还用于为所述任务调度服务提供所有参与方和任务协调方之间的信息传输服务。

7.根据权利要求6所述的一种多方联合数据的安全共享利用方法，其特征在于，所述编写算法组件的具体步骤如下：

S4.1、编写单方算法组件，所述单方算法组件应用于只有一个参与方的数据计算任务的配置中；

S4.2、编写多方算法组件，所述多方算法组件应用于具有多个参与方或多个参与方和至少一个任务协调方的数据计算任务的配置中；

S4.3、编写异地算法组件，所述异地算法组件应用于部分参与方拥有数据但计算资源有限，部分参与方无数据但拥有计算资源的数据计算任务的配置中。

8.根据权利要求7所述的一种多方联合数据的安全共享利用方法，其特征在于：所述多方算法组件和异地算法组件进行过程中，数据在多个参与方之间加密传输，加密传输后进行的算法组件计算为同态加密计算；所述任务协调方还用于加密传输数据的解密过程。

9.根据权利要求7所述的一种多方联合数据的安全共享利用方法，其特征在于，所述多方计算的具体步骤如下：

S5.1、进行数据提交任务，所述数据提交任务用于根据用户提交的数据计算任务，生成数据计算任务的配置信息；

S5.2、进行算法执行任务，使用编写好的算法组件，将数据计算任务的配置信息发送至参与方的任务调度服务，进行数据计算；

S5.3、获取数据计算结果，从任务调度服务中获取计算后的数据存储表。

Images