CN114626088A - 基于算法互联的隐私计算平台的任务处理方法及装置 - Google Patents
基于算法互联的隐私计算平台的任务处理方法及装置 Download PDFInfo
- Publication number
- CN114626088A CN114626088A CN202210209865.3A CN202210209865A CN114626088A CN 114626088 A CN114626088 A CN 114626088A CN 202210209865 A CN202210209865 A CN 202210209865A CN 114626088 A CN114626088 A CN 114626088A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- request
- privacy
- component
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 393
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 154
- 230000008569 process Effects 0.000 claims abstract description 107
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 21
- 238000013475 authorization Methods 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 11
- 230000008707 rearrangement Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 45
- 238000007477 logistic regression Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000008676 import Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Storage Device Security (AREA)
Abstract
本申请提供一种基于算法互联的隐私计算平台的任务处理方法及装置。该方法包括:根据隐私计算任务调用预先配置的目标算法流程;目标算法流程为对多个目标算法组件进行编排获得;多个目标算法组件为根据预先约定的算法概念模型和属性字段形成;向网络中的第二隐私计算节点发送目标算法流程,以协同第二隐私计算节点完成隐私计算任务。本申请通过对预先约定好的算法概念模型和属性字段形成的目标算法组件进行编排,由于算法概念模型和属性字段是经过第一隐私计算节点和第二隐私计算节点共同约定的,因此,目标算法流程适用于第一隐私计算节点和第二隐私计算节点,并且能够使多个隐私计算节点通过一系列标准交互接口协同完成统一隐私计算任务。
Description
技术领域
本申请涉及大数据隐私计算技术领域,具体而言,涉及一种基于算法互联的隐私计算平台的任务处理方法及装置。
背景技术
随着隐私计算市场规模不断扩大和各领域众多厂商的入场,多家隐私计算厂商各自设计了不同的隐私计算算法,并分别开发了不同隐私计算平台。为了方便描述,本申请将来自不同隐私计算厂商或相同厂商的不同版本的隐私计算平台称为异构隐私计算平台。
由于不同厂商、不同开发者或不同版本的参考标准、技术实现方式、算法设计等方面完全不同,导致在一个业务场景中,各参与方需要部署使用同一隐私计算厂商、同一版本的隐私计算平台,否则各方将无法协同完成同一个隐私计算任务。
发明内容
本申请实施例的目的在于提供一种基于算法互联的隐私计算平台的任务处理方法及装置,用以实现异构隐私计算平台的算法互联,以完成对隐私计算任务的处理。
第一方面,本申请实施例提供一种基于算法互联的隐私计算平台的任务处理方法,包括:根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为根据预先约定的算法概念模型和属性字段形成;向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
本申请实施例通过对预先约定好的算法概念模型和属性字段形成的目标算法组件进行编排,获得目标算法流程,并向第二隐私计算节点发送该目标算法流程,以协同处理隐私计算任务。由于算法概念模型和属性字段是经过第一隐私计算节点和第二隐私计算节点共同约定的,因此,目标算法流程适用于第一隐私计算节点和第二隐私计算节点,并且能够使多个隐私计算节点通过一系列标准交互接口协同完成统一隐私计算任务。
在任一实施例中,所述根据隐私计算任务调用预先配置的多个目标算法组件,并将所述多个目标算法组件进行编排,获得目标算法流程,包括:读取算法组件列表;所述算法组件列表中包括所述第一隐私计算节点本地的算法组件和所述第二隐私计算节点发布并授权的经过安全性认证的算法组件;从所述算法组件列表中选取多个目标算法组件,并根据各目标算法组件的输入输出顺序对所述多个目标算法组件进行编排,获得所述目标算法流程。本申请实施例中,由于算法组件列表中的算法组件为各个隐私计算节点按照预先约定好的算法概念模型和属性字段形成的,因此,从算法组件列表中选择目标算法组件进行编排,获得的目标算法流程能够在各个隐私计算节点中运行,并且各隐私计算节点之间能够交换数据。
在任一实施例中,所述方法还包括:接收预先约定好的算法概念模型和属性字段,并根据所述算法概念模型和所述属性字段形成算法组件;其中,所述算法概念模型包括算法组件对象、组件任务对象、算法流程对象和流程任务对象;所述属性字段包括所述算法组件对象、所述组件任务对象、所述算法流程对象和所述流程任务对象分别对应的描述字段。本申请实施例通过与各个隐私计算节点统一定义了算法概念模型和属性字段,使得不同隐私计算节点对隐私算法的开发时实现了兼容。
在任一实施例中,所述方法还包括:接收算法管理请求,并根据所述算法管理请求执行相应的操作;其中,所述算法管理请求包括算法组件管理请求、组件任务管理请求、算法流程管理请求和流程任务管理请求;所述算法组件管理请求包括算法组件的发布请求、下线请求、更新请求、删除请求和授权请求;所述组件任务管理请求包括组件任务的列表查询请求、启动请求、禁用请求、参数修改请求、输入查询请求和输出查询请求;所述算法流程管理请求包括算法流程的发布请求、下线请求、更新请求、删除请求、授权请求和组件重排请求;所述流程任务管理请求包括流程任务的列表查询请求、执行请求、暂停请求、参数修改请求、重新执行请求、输入查询请求和输出查询请求。本申请实施例通过设计算法协同的核心交互流程和功能模块,使得多个隐私计算节点通过一系列标准交互接口系统完成同一隐私计算任务。
在任一实施例中,在形成算法组件之后,所述方法还包括:向所述第二隐私计算节点发送所述算法组件的发布请求,所述发布请求包括认证信息和所述算法组件的属性字段,以使所述第二隐私计算节点根据所述认证信息对所述算法组件进行认证,并且在认证通过后,将所述算法组件添加到本地算法组件列表中。本申请实施例通过向第二隐私计算节点发布开发的算法组件,使得第二隐私计算节点在验证该算法组件的安全性后能够将该算法组件纳入本地的算法组件列表中,供其后期使用。
在任一实施例中,所述协同所述第二隐私计算节点完成所述隐私计算任务,包括:所述第一隐私计算节点和所述第二隐私计算节点分别对各自接收到的所述目标算法流程配置对应的算法参数,并运行配置好的目标算法流程,以协同完成所述隐私计算任务。不同的隐私计算节点由于其输入数据不同或实际需求不同,因此会配置不同的算法参数,通过运行不同算法参数配置的算法流程可以得到多个组件任务和流程任务运行实例,这些实例支持个隐私计算节点在隐私算法任务的处理过程中相互安全的交换密态中间数据,从而完成隐私计算任务的处理。
在任一实施例中,所述运行配置好的目标算法流程,包括:若所述第一隐私计算节点在运行配置好的目标算法流程的过程中需要使用所述第二隐私计算节点的外部资源,则向所述第二隐私计算节点发送资源获取请求,以使所述第二隐私计算节点根据所述资源获取请求确定所述外部资源为授权状态时,向所述第一隐私计算节点返回所述外部资源。本申请实施例通过隐私计算节点对一些数据进行授权,可以使得其他隐私计算节点使用被授权的数据。
在任一实施例中,所述方法还包括:获取所述隐私计算任务在执行过程中产生的日志信息;将所述日志信息进行加密存储。便于对违背约定的隐私计算节点进行发现和追踪。
第二方面,本申请实施例提供一种基于算法互联的隐私计算平台的任务处理装置,包括:算法组件编排模块,用于根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为所述隐私计算节点根据预先约定的算法概念模型和属性字段形成;协同处理模块,用于向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
第三方面,本申请实施例提供一种电子设备,包括:处理器、存储器和总线,其中,所述处理器和所述存储器通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的方法。
第四方面,本申请实施例提供一种非暂态计算机可读存储介质,包括:所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的方法。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的概念模型示意图;
图2为本申请实施例提供的一种基于算法互联的隐私计算平台的任务处理方法流程示意图;
图3为本申请实施例提供的一种基于算法互联的隐私计算平台的任务处理装置结构示意图;
图4为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
开发人员发现,当前隐私计算行业对异构隐私计算平台中的安全统计、联合特征工程、联合建模、联合预测等核心隐私计算算法缺少统一的概念模型和交互流程,同时尚未归纳出通用的隐私计算算法描述维度和描述范围,因此难以解决不同厂商、不同开发者、不同版本的异构隐私计算平台间无法协同完成同一隐私计算任务。
在实际业务中,会为用户带来极大的不便,例如:某大型业务集团采购集成了多家厂商的隐私计算平台,却难以实现多个平台间协同开展隐私计算任务。又如:某厂商由于架构、算法、通信等方面的升级迭代,导致先后部署的两个版本隐私计算平台间无法相互兼容。
为了解决上述问题,本申请实施例提供了一种基于算法互联的隐私计算平台的任务处理方法,该方法利用预先约定的算法概念模型和属性字段形成目标算法组件,并将目标算法组件进行编排获得目标算法流程,将目标算法流程发送给协同处理隐私计算任务的第二隐私计算节点。由于目标算法组件为多个隐私节点预先约定好的,所以目标算法流程能够使用与多个隐私节点,从而实现了多个隐私节点的互联互通。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
在形成目标算法组件之前,网络中的多个隐私计算节点对隐私计算算法的概念模型和属性字段进行协商定义。其中,概念模型包括算法组件对象、组件任务对象、算法流程对象和流程任务对象。上述多个隐私计算节点上运行有属于不同隐私计算厂商的平台。
其中算法组件和算法流程为算法运行前的静态对象,算法组件是单个隐私计算算法的代码实现,通常单个算法组件不能独立运行;多个算法组件通过编排形成一个算法流程。例如数据预处理组件、特征工程组件、逻辑回归建模组件、模型评估组件、逻辑回归预测组件编排形成一个风控算法流程。
组件任务和流程任务为算法运行后的动态对象,组件任务为单个算法组件的运行实例;流程任务为算法流程的运行实例,一个算法流程可以在不同参数配置下运行多次生成多个不同的流程任务。图1为本申请实施例提供的概念模型示意图,如图1所示。
属性字段包括算法组件的描述字段、组件任务的描述字段、算法流程的描述字段和流程任务的描述字段。
表1为本申请实施例提供的算法组件的描述字段,具体如表1所示:
表1
表2为本申请实施例提供的组件任务的描述字段,如表2所示:
表2
表3为本申请实施例提供的算法流程的描述字段,如表3所示:
表3
表4为本申请实施例提供的流程任务的描述字段,如表4所示:
表4
应当说明的是,上述表1-表4中的具体字段仅为一种示例,在实际执行中,可以预先约定比表1-表4中更多或更少的字段,且字段的属性、名称、说明的具体内容可以根据实际情况进行调整,本申请实施例对此不做具体限定。
本申请实施例通过与各个隐私计算节点统一定义了算法概念模型和属性字段,使得多个隐私计算节点能够同一对算法的认知(分为什么对象)、描述(包含哪些字段)、代码实现(代码如何定义class类的属性)等,为异构隐私计算平台间节点连通、资源共享和任务协同提供了可行的接口设计思路和技术实现方案。
另外,多个隐私计算节点还预先约定算法管理相关内容,其中,算法管理是指维持算法组件和算法流程可供正常使用、组件任务和流程任务正常执行的基本能力。具体包括:
1)算法组件和组件任务管理:包括算法组件的发布、下线、更新、删除、授权申请等;组件任务的列表查询、组件任务启动、禁用、参数修改、输入输出查询等。
2)算法流程和流程任务管理:包括算法流程的发布、下线、更新、删除、授权申请、组件重排等;流程任务的列表查询、执行、暂停、参数修改、重新执行、输入输出查询等。
3)算法信息管理:包括组件、组件任务、算法流程和流程任务描述字段信息增加、删除、修改、查询等。
4)算法列表管理:对经过认证和安全性审查后的算法组件列表和算法流程列表进行管理和维护。其中算法组件列表管理支持对外部发布的算法组件进行授权申请、按条件筛选组件、查看组件信息等功能;对自有的算法组件进行授权审核、按条件筛选组件、查看和修改组件信息、添加组件、删除组件、配置修改、编排组件等功能。算法流程列表管理支持对外部发布的算法流程进行合作申请、按条件筛选流程、查看流程信息等功能;对自有的算法流程进行合作审核、按条件筛选流程、查看和修改流程信息、新增流程、删除流程、配置修改、流程组件重排等功能。
基于算法组件管理,用户可通过隐私计算节点提交算法组件管理请求,例如:可以通过发布请求发布某个算法组件,通过下线请求对某个算法组件下线处理,通过更新请求更新某个算法组件,通过删除请求删除某个算法组件,通过授权请求向其他隐私计算节点授权某个算法组件等等。隐私计算节点在接收到组件管理请求后,对该组件管理请求执行对应的操作。
基于组件任务管理,用户可通过隐私计算节点提交组件任务管理请求,例如:通过列表查询请求查询组件任务列表,通过启动请求启动组件任务,通过禁用请求禁用组件任务,通过参数修改请求修改组件任务中的某个参数,通过输入查询请求查询输入数据,通过输出查询请求查询输出数据等。隐私计算节点在接收到该组件任务管理请求后,对该组件任务执行对应的操作。
其中,应当注意的是,为了确保算法组件的可信任程度,需要在算法组件发布到网络中的其他隐私计算节点之前,通过安全认证机构对算法组件进行认证,在认证通过后,获得安全认证证书,其中,该安全认证证书可以是带有签名的数字证书,该数字证书用于保证算法组件的可信性和安全性。隐私计算节点可以向网络中的其他隐私计算节点发送该算法组件发布请求,该发布请求中包括认证信息和算法组件的属性字段,其中,认证信息即上述的数字证书。其他隐私计算节点在接收到该发布请求后,验证该数字证书的真伪,在确定该数据字数为真的情况下,将该算法组件添加到本地算法组件列表中,供后期进行数据交互和流程编排中使用。
其中,算法组件的数字证书应包含算法名称、算法描述、算法版本号、有效期、算法隐私安全性声明、开发者签名和安全认证机构签名等,并具有唯一性。算法组件的隐私安全性声明中包含算法安全性定义、算法安全性原理说明、满足安全性的使用规范和使用范围等。
基于算法流程管理,用户可通过隐私计算节点提交算法流程管理请求,例如,通过发布请求发布算法流程,通过下线请求对算法流程进行下线操作,通过更新请求更新算法流程,通过删除请求删除算法流程,通过授权请求对算法流程进行授权,通过组件重排请求对算法组件进行重新编排。隐私计算节点在接收到该算法流程管理请求后,对该算法流程执行对应的操作。
基于流程任务管理,用户可以通过隐私计算节点提交流程任务管理请求,例如:通过列表查询请求查询流程任务的列表,通过执行请求运行流程任务,通过暂停请求暂停流程任务的执行,通过重新执行请求重新执行流程任务,通过输入查询请求查询流程任务的输入数据,通过输出查询请求查询流程任务的输出数据等。隐私流程任务在接收到该算法流程管理请求后,对该流程任务执行对应的操作。
在多个隐私计算节点约定好上述内容后,开发人员在开发隐私算法时,均按照上述约定进行开发,从而获得的算法组件、运行算法组件后的组件任务、对算法组件进行编排后的算法流程和运行算法流程后的流程任务能够在各个隐私计算节点中实现,在大型隐私计算网络中提升了算法管理效率,规范化的隐私计算相关计算操作。
下面将具体介绍基于上述的协商结果进行隐私计算任务的处理方法,如图2所示,该方法应用于网络中的第一隐私计算节点,可以理解的是,该网络中还包括第二隐私计算节点,其中,第二隐私计算节点可以为一个,也可以为多个,并且第一隐私计算节点和第二隐私计算节点中运行的隐私计算平台可以相同也可以不同。相同是指属于同一隐私计算厂商、同一版本的隐私计算平台;不同是指隐私计算厂商和/或版本不同的隐私计算平台。该方法包括:
步骤201:根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为根据预先约定的算法概念模型和属性字段形成;
步骤202:向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
其中,在步骤201中,第一隐私计算节点在接收到隐私计算任务后,根据该隐私计算任务的实际需求获取目标算法流程,可以理解的是,第一隐私计算节点可以从其本地管理的算法流程列表中获取预先配置好的算法流程,若算法流程列表中没有适用于隐私计算任务的目标算法流程,则可以通过获取目标算法流程所需的多个目标算法组件,并对多个目标算法组件进行编排,获得目标算法流程。其中,目标算法组件为利用上述协商定义的算法概念模型和属性字段编写获得。由于单个目标算法组件无法独立运行,因此,需要将多个目标算法组件进行编排,其编排的规则是根据业务需求按照各个目标算法组件的输入、输出的前后顺序进行编排。例如:某业务需要使用数据读取组件、安全求交组件、线性回归组件,那么根据实际的业务执行需求,按照数据读取组件-安全求交组件-线性回归组件进行编排,并写入到“flow_dag”字段中,从而完成算法组件的编排。
在步骤202中,第一隐私计算节点在编排算法组件后获得目标算法流程中,可以向网络中的第二隐私计算节点发布算法流程合作请求信息,如果第二隐私计算节点有合作意愿,则同意该请求,后续参与到该隐私计算任务中,协同隐私计算任务的处理。例如协同完成安全运算、安全求交、安全统计、特征工程、联合建模、联合预测等工作。
本申请实施例通过对预先约定好的算法概念模型和属性字段形成的目标算法组件进行编排,获得目标算法流程,并向第二隐私计算节点发送该目标算法流程,以协同处理隐私计算任务。由于算法概念模型和属性字段是经过第一隐私计算节点和第二隐私计算节点共同约定的,因此,目标算法流程适用于第一隐私计算节点和第二隐私计算节点,并且能够使多个隐私计算节点通过一系列标准交互接口协同完成统一隐私计算任务。
在上述实施例的基础上,所述协同所述第二隐私计算节点完成所述隐私计算任务,包括:
所述第一隐私计算节点和所述第二隐私计算节点分别对各自接收到的所述目标算法流程配置对应的算法参数,并运行配置好的目标算法流程,以协同完成所述隐私计算任务。
在具体的实施过程中,第一隐私计算节点和第二隐私计算节点分别根据自身的实际情况为其接收到的目标算法配置对应的算法参数。例如:算法流程中包括数据导入、安全求交、逻辑回归和算法评估四个算法组件。若第一隐私计算节点对数据安全性要求较高,那么安全求交的参数可以设置的相对高一点,例如可以为0.8,若第二隐私计算节点对数据安全性要求较低,那么安全求交的参数可以设置的相对低一点,例如可以为0.5。另外,由于第一隐私计算节点中参与隐私计算任务处理的数据源与第二隐私计算节点中参与隐私计算任务处理的数据源不同,那么对逻辑回归算法组件进行训练后获得的模型参数也不相同。因此,第一隐私计算节点和第二隐私计算节点分别为其接收到的算法流程配置不同的算法参数。第一隐私计算节点在运行其配置了算法参数的目标算法流程后,获得各个算法组件对应的组件任务和算法流程对应的流程任务,同样的,第二隐私计算节点在运行其配置了算法参数的目标算法流程后,获得各个算法组件对应的组件任务和算法流程对应的流程任务。
第一隐私计算节点和第二隐私计算节点在协同完成目标算法流程的过程中,仍以上述所列举的算法流程为例,若第一隐私计算节点中其算法组件列表中包括数据导入、安全求交、逻辑回归和算法评估,第二隐私计算节点中的算法组件列表中包括数据导入、安全求交和逻辑回归。那么在执行目标算法流程过程中,双方合作运行数据导入、安全求交和逻辑回归,第一隐私计算节点运行算法评估,并将运行算法评估后的结果同步给第二隐私计算节点,此时,第二隐私计算节点不需要运行算法评估这一算法组件。另外,在双方协同运行算法流程时,各隐私计算节点之间可以相互安全地交换密态中间数据,例如,密态的中间梯度、密态的中间直方图信息等。可以理解的是,可以通过各隐私计算节点之间预先协商中间数据的安全保护技术,在传输中间数据时,对中间数据进行安全处理,以保证中间数据交换时的安全性。其中,中间数据的安全保护技术有多种,例如同态加密、多方安全计算、差分隐私等等,本申请实施例对安全保护技术不做具体限定。
另外,最终仅约定的结果方(即第一隐私计算节点)能够获得整个算法流程的运行结果,并可以对运行结果查看和下载。当然,第一隐私计算节点也可以将运行结果授权给第二隐私计算节点,供第二隐私计算节点查看和/或使用。例如,第二隐私计算节点可以将运行结果作为新的资源输入到其他算法流程中,具体可以是将预测结果作为新的算法流程的训练样本使用,或者将算法流程中的模型作为新的算法流程中的初始模型使用。
本申请实施例中,由于不同的隐私计算节点由于其输入数据不同或实际需求不同,因此会配置不同的算法参数,通过运行不同算法参数配置的算法流程可以得到多个组件任务和流程任务运行实例,这些实例支持个隐私计算节点在隐私算法任务的处理过程中相互安全的交换密态中间数据,从而完成隐私计算任务的处理。
在上述实施例的基础上,所述运行配置好的目标算法流程,包括:
若所述第一隐私计算节点在运行配置好的目标算法流程的过程中需要使用所述第二隐私计算节点的外部数据,则向所述第二隐私计算节点发送数据获取请求,以使所述第二隐私计算节点根据所述数据获取请求确定所述外部数据为授权状态时,向所述第一隐私计算节点返回所述外部数据。
在具体的实施过程中,第一隐私计算节点在算法流程中可能需要使用外部数据或模型等资源来参与到算法协同计算中,以需要使用第二隐私计算节点中的外部资源为例,需要第二隐私计算节点对第一隐私计算节点所需的数据或模型资源进行授权,只有经过授权的、非敏感的资源才能被跨平台的使用在隐私计算任务中。授权状态应为非永久性的,节点双方在授权后,可随时取消授权。
因此,第一隐私计算节点在需要使用第二隐私计算节点的外部数据时,可以向第二隐私计算节点发送数据获取请求,第二隐私计算节点在接收到该数据获取请求后,判断对应的数据是否处于已经授权第一隐私计算节点可用的数据,若是,则可将该数据返回给第一隐私计算节点;如果判断得知第一隐私计算节点没有权限使用该数据,则可评估是否需要对其进行授权,在评估可以授权并且授权后,将该数据返回给第一隐私计算节点。如果评估后得知第一隐私计算节点没有权限,则可以向第一隐私计算节点返回无权访问的消息。
其中算法组件安装包、算法组件容器等也可以看做一种特殊的资源,第一隐私计算节点检索并查看第二隐私计算节点发布的算法组件信息,如有需要则提交申请算法组件授权,第二隐私计算节点发布的算法组件经过授权后可以跨平台的编排、配置和使用该组件,并参与到后续的流程任务中进行协同计算。
本申请实施例通过可以跨平台使用第二隐私计算节点中的资源,对于资源为输入数据,则提高了第一隐私计算节点在运行算法流程中获得的结果的准确性;对于资源为算法组件,则不需要第一隐私计算节点的开发人员重新开发该算法组件,在保护数据、算法和模型提供方的资源安全的同时,也大大提高了对隐私计算任务处理的效率。
在上述实施例的基础上,所述方法还包括:
获取所述隐私计算任务在执行过程中产生的日志信息;
将所述日志信息进行加密存储。
在具体的实施过程中,第一隐私计算节点可以对隐私计算任务进行算法存证。算法存证指第一隐私计算节点可以对隐私计算互联互通网络中的静态和动态的算法输入输出和关键操作的日志信息进行记录,以满足后续内外部监管审计,并且日志信息为进行加密的,具有不可篡改性,不暴露隐私计算任务涉及的隐私数据。对于违背约定的参与方进行发现、追踪。
本申请实施例通过设置存证机制,对隐私计算任务中交互的关键数据、关键操作进行了记录,为后续内外部审计提供了依据,也可参考存证进一步设计任务贡献度计算方法。
图3为本申请实施例提供的一种基于算法互联的隐私计算平台的任务处理装置结构示意图,该装置可以是电子设备上的模块、程序段或代码。应理解,该装置与上述图2方法实施例对应,能够执行图2方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。所述装置包括:算法组件编排模块301和协同处理模块302,其中:
算法组件编排模块301用于根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为所述隐私计算节点根据预先约定的算法概念模型和属性字段形成;协同处理模块302用于向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
在上述实施例的基础上,协同处理模块302具体用于:
分别对各自接收到的所述目标算法流程配置对应的算法参数,并运行配置好的目标算法流程,以协同完成所述隐私计算任务。
在上述实施例的基础上,算法组件编排模块301具体用于:
读取算法组件列表;所述算法组件列表中包括所述第一隐私计算节点本地的算法组件和所述第二隐私计算节点发布并授权的经过安全性认证的算法组件;
从所述算法组件列表中选取多个目标算法组件,并根据各目标算法组件的输入输出顺序对所述多个目标算法组件进行编排,获得所述目标算法流程。
在上述实施例的基础上,该装置还包括算法组件生成模块,用于:
接收预先约定好的算法概念模型和属性字段,并根据所述算法概念模型和所述属性字段形成算法组件;其中,所述算法概念模型包括算法组件对象、组件任务对象、算法流程对象和流程任务对象;所述属性字段包括所述算法组件对象、所述组件任务对象、所述算法流程对象和所述流程任务对象分别对应的描述字段。
在上述实施例的基础上,该装置还包括算法管理模块,用于:
接收算法管理请求,并根据所述算法管理请求执行相应的操作;
其中,所述算法管理请求包括算法组件管理请求、组件任务管理请求、算法流程管理请求和流程任务管理请求;
所述算法组件管理请求包括算法组件的发布请求、下线请求、更新请求、删除请求和授权请求;
所述组件任务管理请求包括组件任务的列表查询请求、启动请求、禁用请求、参数修改请求、输入查询请求和输出查询请求;
所述算法流程管理请求包括算法流程的发布请求、下线请求、更新请求、删除请求、授权请求和组件重排请求;
所述流程任务管理请求包括流程任务的列表查询请求、执行请求、暂停请求、参数修改请求、重新执行请求、输入查询请求和输出查询请求。
在上述实施例的基础上,该装置还包括组件发布模块,用于:
向所述第二隐私计算节点发送所述算法组件的发布请求,所述发布请求包括认证信息和所述算法组件的属性字段,以使所述第二隐私计算节点根据所述认证信息对所述算法组件进行认证,并且在认证通过后,将所述算法组件添加到本地算法组件列表中。
在上述实施例的基础上,该装置还包括资源授权模块,用于:
若所述第一隐私计算节点在运行配置好的目标算法流程的过程中需要使用所述第二隐私计算节点的外部资源,则向所述第二隐私计算节点发送资源获取请求,以使所述第二隐私计算节点根据所述资源获取请求确定所述外部资源为授权状态时,向所述第一隐私计算节点返回所述外部资源。
在上述实施例的基础上,该装置还包括日志留存模块,用于:
获取所述隐私计算任务在执行过程中产生的日志信息;
将所述日志信息进行加密存储。
图4为本申请实施例提供的电子设备实体结构示意图,如图4所示,所述电子设备,包括:处理器(processor)401、存储器(memory)402和总线403;其中,
所述处理器401和存储器402通过所述总线403完成相互间的通信;
所述处理器401用于调用所述存储器402中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:根据隐私计算任务调用预先配置的多个目标算法组件,并将所述多个目标算法组件进行编排,获得目标算法流程;其中,所述多个目标算法组件为根据预先约定的算法概念模型和属性字段形成;向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
处理器401可以是一种集成电路芯片,具有信号处理能力。上述处理器401可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以包括但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)等。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为根据预先约定的算法概念模型和属性字段形成;向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为根据预先约定的算法概念模型和属性字段形成;向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种基于算法互联的隐私计算平台的任务处理方法,应用于网络中的第一隐私计算节点,其特征在于,包括:
根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为根据预先约定的算法概念模型和属性字段形成;
向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
2.根据权利要求1所述的方法,其特征在于,所述根据隐私计算任务调用预先配置的多个目标算法组件,并将所述多个目标算法组件进行编排,获得目标算法流程,包括:
读取算法组件列表;所述算法组件列表中包括所述第一隐私计算节点本地的算法组件和所述第二隐私计算节点发布并授权的经过安全性认证的算法组件;
从所述算法组件列表中选取多个目标算法组件,并根据各目标算法组件的输入输出顺序对所述多个目标算法组件进行编排,获得所述目标算法流程。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收预先约定好的算法概念模型和属性字段,并根据所述算法概念模型和所述属性字段形成算法组件;其中,所述算法概念模型包括算法组件对象、组件任务对象、算法流程对象和流程任务对象;所述属性字段包括所述算法组件对象、所述组件任务对象、所述算法流程对象和所述流程任务对象分别对应的描述字段。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
接收算法管理请求,并根据所述算法管理请求执行相应的操作;
其中,所述算法管理请求包括算法组件管理请求、组件任务管理请求、算法流程管理请求和流程任务管理请求;
所述算法组件管理请求包括算法组件的发布请求、下线请求、更新请求、删除请求和授权请求;
所述组件任务管理请求包括组件任务的列表查询请求、启动请求、禁用请求、参数修改请求、输入查询请求和输出查询请求;
所述算法流程管理请求包括算法流程的发布请求、下线请求、更新请求、删除请求、授权请求和组件重排请求;
所述流程任务管理请求包括流程任务的列表查询请求、执行请求、暂停请求、参数修改请求、重新执行请求、输入查询请求和输出查询请求。
5.根据权利要求3所述的方法,其特征在于,在生成算法组件之后,所述方法还包括:
向所述第二隐私计算节点发送所述算法组件的发布请求,所述发布请求包括认证信息和所述算法组件的属性字段,以使所述第二隐私计算节点根据所述认证信息对所述算法组件进行认证,并且在认证通过后,将所述算法组件添加到本地算法组件列表中。
6.根据权利要求1所述的方法,其特征在于,所述协同所述第二隐私计算节点完成所述隐私计算任务,包括:
所述第一隐私计算节点和所述第二隐私计算节点分别对各自接收到的所述目标算法流程配置对应的算法参数,并运行配置好的目标算法流程,以协同完成所述隐私计算任务。
7.根据权利要求6所述的方法,其特征在于,所述运行配置好的目标算法流程,包括:
若所述第一隐私计算节点在运行配置好的目标算法流程的过程中需要使用所述第二隐私计算节点的外部资源,则向所述第二隐私计算节点发送资源获取请求,以使所述第二隐私计算节点根据所述资源获取请求确定所述外部资源为授权状态时,向所述第一隐私计算节点返回所述外部资源。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
获取所述隐私计算任务在执行过程中产生的日志信息;
将所述日志信息进行加密存储。
9.一种基于算法互联的隐私计算平台的任务处理装置,应用于网络中的第一隐私计算节点,其特征在于,包括:
算法组件编排模块,用于根据隐私计算任务调用预先配置的目标算法流程;其中,所述目标算法流程为对多个目标算法组件进行编排获得;所述多个目标算法组件为所述隐私计算节点根据预先约定的算法概念模型和属性字段形成;
协同处理模块,用于向网络中的第二隐私计算节点发送所述目标算法流程,以协同所述第二隐私计算节点完成所述隐私计算任务。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-8任一项所述的方法。
11.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令被计算机运行时,使所述计算机执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210209865.3A CN114626088A (zh) | 2022-03-04 | 2022-03-04 | 基于算法互联的隐私计算平台的任务处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210209865.3A CN114626088A (zh) | 2022-03-04 | 2022-03-04 | 基于算法互联的隐私计算平台的任务处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114626088A true CN114626088A (zh) | 2022-06-14 |
Family
ID=81899955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210209865.3A Pending CN114626088A (zh) | 2022-03-04 | 2022-03-04 | 基于算法互联的隐私计算平台的任务处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114626088A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114996768A (zh) * | 2022-08-03 | 2022-09-02 | 天聚地合(苏州)科技股份有限公司 | 基于隐私需求的数据协作方法、装置、存储介质及设备 |
CN115202908A (zh) * | 2022-09-09 | 2022-10-18 | 杭州海康威视数字技术股份有限公司 | 一种基于动态编排的隐私计算请求响应方法及装置 |
CN116842578A (zh) * | 2023-08-31 | 2023-10-03 | 武汉大数据产业发展有限公司 | 数据要素交易中隐私计算平台、方法、电子设备及介质 |
CN117195310A (zh) * | 2023-11-08 | 2023-12-08 | 亚信科技(中国)有限公司 | 基于隐私计算的异构平台、方法、设备以及存储介质 |
WO2024011826A1 (zh) * | 2022-07-15 | 2024-01-18 | 中国银联股份有限公司 | 一种隐私计算设备、方法、系统、电子设备及介质 |
WO2024156205A1 (zh) * | 2023-01-29 | 2024-08-02 | 中国银联股份有限公司 | 一种隐私计算方法、装置、设备及介质 |
-
2022
- 2022-03-04 CN CN202210209865.3A patent/CN114626088A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024011826A1 (zh) * | 2022-07-15 | 2024-01-18 | 中国银联股份有限公司 | 一种隐私计算设备、方法、系统、电子设备及介质 |
CN114996768A (zh) * | 2022-08-03 | 2022-09-02 | 天聚地合(苏州)科技股份有限公司 | 基于隐私需求的数据协作方法、装置、存储介质及设备 |
CN114996768B (zh) * | 2022-08-03 | 2023-01-06 | 天聚地合(苏州)科技股份有限公司 | 基于隐私需求的数据协作方法、装置、存储介质及设备 |
CN115202908A (zh) * | 2022-09-09 | 2022-10-18 | 杭州海康威视数字技术股份有限公司 | 一种基于动态编排的隐私计算请求响应方法及装置 |
WO2024156205A1 (zh) * | 2023-01-29 | 2024-08-02 | 中国银联股份有限公司 | 一种隐私计算方法、装置、设备及介质 |
CN116842578A (zh) * | 2023-08-31 | 2023-10-03 | 武汉大数据产业发展有限公司 | 数据要素交易中隐私计算平台、方法、电子设备及介质 |
CN117195310A (zh) * | 2023-11-08 | 2023-12-08 | 亚信科技(中国)有限公司 | 基于隐私计算的异构平台、方法、设备以及存储介质 |
CN117195310B (zh) * | 2023-11-08 | 2024-01-30 | 亚信科技(中国)有限公司 | 基于隐私计算的异构平台、方法、设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Al-Breiki et al. | Trustworthy blockchain oracles: review, comparison, and open research challenges | |
CN111541785B (zh) | 基于云计算的区块链数据处理方法及装置 | |
CN114626088A (zh) | 基于算法互联的隐私计算平台的任务处理方法及装置 | |
US12028459B2 (en) | Multi-access edge computing node with distributed ledger | |
CN109981679B (zh) | 在区块链网络中执行事务的方法和装置 | |
US11741083B2 (en) | Cross-shard private atomic commit | |
KR102145701B1 (ko) | 안전한 다자 계산에서 참가자에 의한 입력 데이터의 허위 표시 방지 | |
KR102569409B1 (ko) | 가상 분산 원장 네트워크를 위한 시스템 및 방법 | |
CN111414413A (zh) | 区块链背书验证 | |
CN111753335A (zh) | 区块内容的编辑方法及装置 | |
CN115769241A (zh) | 针对经许可的区块链的隐私保护架构 | |
CN113129149A (zh) | 基于区块链和安全多方计算的交易风险识别方法和装置 | |
CN114896639A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
Chen et al. | TrustBuilder: A non-repudiation scheme for IoT cloud applications | |
Ameur-Boulifa et al. | Sysml model transformation for safety and security analysis | |
EP3542300A1 (en) | Method for operating a peer-to-peer application | |
Xing et al. | Talaria: A framework for simulation of permissioned blockchains for logistics and beyond | |
CN115701078A (zh) | 跨链交易处理方法、装置、电子设备以及存储介质 | |
Lahbib et al. | Blockchain based privacy aware distributed access management framework for industry 4.0 | |
CN112926981B (zh) | 用于区块链的交易信息处理方法、装置、介质及电子设备 | |
Reed et al. | Bulwark: A framework to store iot data in user accounts | |
CN112184434B (zh) | 区块链系统、数据交互和处理方法、节点和存储介质 | |
Belchior et al. | Can we share the same perspective? blockchain interoperability with views | |
CN116521509A (zh) | 智能合约测试方法、装置、设备、存储介质及产品 | |
Sardar et al. | Formal Specification and Verification of Architecturally-defined Attestation Mechanisms in Arm CCA and Intel TDX |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |