CN114417361B - 基于区块链的跨域ai隐私计算的协商方法及系统 - Google Patents
基于区块链的跨域ai隐私计算的协商方法及系统 Download PDFInfo
- Publication number
- CN114417361B CN114417361B CN202210329208.2A CN202210329208A CN114417361B CN 114417361 B CN114417361 B CN 114417361B CN 202210329208 A CN202210329208 A CN 202210329208A CN 114417361 B CN114417361 B CN 114417361B
- Authority
- CN
- China
- Prior art keywords
- contract
- service quality
- resource
- party
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种基于区块链的跨域AI隐私计算的协商方法及系统,属于区块链技术领域。所述方法包括:至少一个资源方在区块链上进行资源注册;需求方、至少一个参与方和智能合约利用注册的资源协商生成协作合约,其用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;需求方、服务质量计算器、部分资源方和智能合约协商生成服务质量合约,其用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方和其提供的服务质量规格;部分资源方按照服务质量规格进行资源准备和协调。本申请能够为跨域AI隐私计算提供服务质量管理。
Description
技术领域
本申请涉及区块链技术领域,特别涉及一种基于区块链的跨域AI隐私计算的协商方法及系统。
背景技术
随着“数字经济”的不断发展,数据要素安全协作的需求在不断增加。隐私计算技术的兴起则为数据要素内在价值的安全释放提供了有力工具。伴随着隐私计算技术的不断成熟,各类数据要素主体进行按需动态协作的条件也在不断增强,它们之间的竞争与合作日趋常态化。隐私计算大部分强调端到端或背靠背的数据碰撞能力,这使得隐私计算在规模化数据要素持有者(如各类政府机构、IT企业、高校等)之间的应用体现为跨数据中心(跨域)计算。并且随着人工智能技术的不断发展,AI隐私计算服务成为了隐私计算应用中的典型服务。
然而AI隐私计算目前还尚未在工业界形成规模化应用的标准产品。这导致隐私计算的服务质量管理滞后于隐私计算技术的发展,尤其是在跨数据中心进行协作的场景中难以为隐私计算需求的主体提供稳定的可预测的计算质量选择。
发明内容
本申请提供了一种基于区块链的跨域AI隐私计算的协商方法及系统,用于解决在跨数据中心进行协作的场景中难以为隐私计算需求的主体提供稳定的可预测的计算质量选择的问题。所述技术方案如下:
一方面,提供了一种基于区块链的跨域AI隐私计算的协商方法,用于包含需求方、至少一个参与方、至少一个资源方、服务质量计算器和智能合约的协商系统中,所述方法包括:
所述至少一个资源方在区块链上进行资源注册;
所述需求方、所述至少一个参与方和所述智能合约利用注册的资源协商生成协作合约,所述协作合约用于定义AI隐私计算的工作流中的各个第一计算组,所述第一计算组中包括所述至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;
所述需求方、所述服务质量计算器、部分资源方和所述智能合约协商生成服务质量合约,并对所述服务质量合约与所述协作合约进行关联,所述服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,所述第二计算组中包括所述部分资源方和其提供的服务质量规格;
所述部分资源方按照所述服务质量规格进行资源准备和协调。
在一种可能的实现方式中,所述需求方、所述至少一个参与方和所述智能合约利用注册的资源协商生成协作合约,包括:
所述需求方在所述智能合约中创建协作合约,并根据注册的资源在所述协作合约中定义各个第一计算组;
所述智能合约向各个第一计算组中定义的参与方发送第一通知;
每个参与方在接收到所述第一通知后,在所述智能合约中上查看所述协作合约,并对所述协作合约进行确认;
在确定所有参与方都进行确认后,所述智能合约确定所述协作合约生效。
在一种可能的实现方式中,所述方法还包括:
若在超时时存在至少一个参与方未进行确认,则所述智能合约确定所述协作合约失效。
在一种可能的实现方式中,当所述资源方为数据提供方,且所述数据提供方注册的资源包括数据集授权信息时,在所述智能合约向各个第一计算组中定义的参与方发送第一通知之前,所述方法还包括:
所述智能合约获取所述协作合约中定义的各个参与方能够访问的数据集的访问权限信息;
所述智能合约检测所述访问权限信息与所述数据集授权信息是否相匹配;
当所述访问权限信息与所述数据集授权信息不匹配时,所述智能合约确定所述协作合约失效;
当所述访问权限信息与所述数据集授权信息相匹配时,所述智能合约触发执行所述向各个第一计算组中定义的参与方发送第一通知的步骤。
在一种可能的实现方式中,所述需求方、所述服务质量计算器、部分资源方和所述智能合约协商生成服务质量合约,包括:
所述智能合约向所述服务质量计算器发送第二通知;
所述服务质量计算器在接收到所述第二通知后,根据所述AI算法类型和部分资源方预估基于效果的第一开销,根据所述隐私计算后端和部分资源方预估基准计算的第二开销,根据所述第一开销和所述第二开销生成多种服务质量规格,在所述智能合约中创建包含所述多种服务质量规格的服务质量合约;
所述智能合约向所述需求方发送第三通知;
所述需求方在接收到所述第三通知后,将从所述服务质量合约中选择的一种服务质量规格发送给所述智能合约;
所述智能合约通知所述资源方对所述服务质量规格进行确认,在完成确认后,确定所述服务质量合约生效。
在一种可能的实现方式中,当所述第一开销是所述AI隐私算法的训练轮次时,所述根据所述AI算法类型和部分资源方预估基于效果的第一开销,包括:
所述服务质量计算器从所述协作合约中获取当前任务的数据体量分布;
当所述部分资源方为数据提供方时,所述服务质量计算器获取所述数据提供方提供的当前任务的数据分布情况;
所述服务质量计算器获取所述AI算法类型下的历史任务的运行记录,根据所述运行记录、所述数据体量分布和所述数据分布情况,计算所述历史任务与所述当前任务的数据体量分布相似度和数据分布异质度差值;
所述服务质量计算器根据所述数据体量分布相似度和所述数据分布异质度差值筛选目标运行记录,利用贝叶斯网络和所述目标运行记录预估所述第一开销。
在一种可能的实现方式中,所述服务质量计算器根据所述数据体量分布相似度和所述数据分布异质度差值筛选目标运行记录,包括:
所述服务质量计算器基于所述数据体量分布相似度计算第一筛选范围,基于所述数据分布异质度差值计算第二筛选范围;
所述服务质量计算器筛选数据体量分布相似度属于所述第一筛选范围内,且数据分布异质度差值属于所述第二筛选范围内的运行记录,将筛选出的运行记录确定为目标运行记录。
在一种可能的实现方式中,当所述二开销是训练所述AI隐私算法时一个训练轮次的时延时,所述根据所述隐私计算后端和部分资源方预估基准计算的第二开销,包括:
所述服务质量计算器根据所述隐私计算后端的类型对所述AI隐私算法进行编译;
所述服务质量计算器统计编译后的指令数量和指令分布,并统计各个参与方之间的通信轮次和通信量;
当所述部分资源方包括算力提供方和网络提供方时,对于所述算力提供方提供的每种算力规格和所述网络提供方提供的每种网络规格,所述服务质量计算器在不同的计算规格和网络规格的组合下,根据所述指令数量、所述指令分布、所述通信轮次和所述通信量计算不同的第二开销。
在一种可能的实现方式中,所述资源方包括算力提供方、数据提供方、算法提供方和网络提供方。
一方面,提供了一种基于区块链的跨域AI隐私计算的协商系统,所述协商系统包括需求方、至少一个参与方、至少一个资源方、服务质量计算器和智能合约;
所述至少一个资源方,用于在区块链上进行资源注册;
所述需求方、所述至少一个参与方和所述智能合约,用于利用注册的资源协商生成协作合约,所述协作合约用于定义AI隐私计算的工作流中的各个第一计算组,所述第一计算组中包括所述至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;
所述需求方、所述服务质量计算器、部分资源方和所述智能合约,用于协商生成服务质量合约,并对所述服务质量合约与所述协作合约进行关联,所述服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,所述第二计算组中包括所述部分资源方和其提供的服务质量规格;
所述部分资源方,还用于按照所述服务质量规格进行资源准备和协调。
本申请提供的技术方案的有益效果至少包括:
需求方、至少一个参与方和智能合约可以利用资源方注册的资源协商生成协作合约,该协作合约用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;然后,需求方、服务质量计算器、部分资源方和智能合约再协商生成服务质量合约,并对服务质量合约与协作合约进行关联,该服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方和其提供的服务质量规格,最后,部分资源方按照服务质量规格进行资源准备和协调,这样,可以借助区块链全局综合进行计算,为跨数据中心和跨域的AI隐私计算提供基于区块链的服务质量管理配套。
另外,服务质量计算器还可以计算第一开销和第二开销,从而在AI隐私计算的服务质量协商中综合考虑计算效果和计算质量,并提供不同的服务质量规格,使得需求方能够根据自身的需求来选择合适的服务质量规格。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据部分示例性实施例示出的一种协商系统的结构示意图;
图2是本申请一个实施例提供的基于区块链的跨域AI隐私计算的协商方法的方法流程图;
图3是本申请另一实施例提供的基于区块链的跨域AI隐私计算的协商方法的方法流程图;
图4是本申请另一实施例提供的第一开销的计算流程的示意图;
图5是本申请另一实施例提供的第二开销的计算流程的示意图;
图6是本申请另一实施例提供的基于区块链的跨域AI隐私计算的协商方法的流程示意图;
图7是本申请另一实施例提供的基于区块链的跨域AI隐私计算的协商系统的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面先对本申请中各个实施例涉及的基于区块链的跨域AI隐私计算的协商系统的结构进行说明。
请参考图1,协商系统中可以划分为三层,从下往上依次为资源目录层、协作组织层和服务质量层。
一、资源目录层用于跨域进行AI隐私计算的各资源方进行相关资源的注册登记。其中,资源方包括算力提供方、数据提供方、算法提供方和网络提供方,下面进行详细说明。
(1)算力提供方也可以称为计算主体,其主要提供计算能力。这里所说的计算能力包括计算能力支持和计算能力的规格,其中,计算能力支持的硬件列表包括CPU(CentralProcessing Unit,中央处理器)、GPU(Graphics Processing Unit,图形处理器)、FPGA(Field Programmable Gate Array,现场可编程门阵列)等和隐私计算工具链,计算能力的规格包括虚拟机、容器规格等。
(2)数据提供方也可以称为数据主体,其主要提供数据资产。这里所说的数据资产包括数据集情况、数据条目数量、数据条目字段、数据集授权等。
(3)算法提供方也可以称为算法主体,其主要提供算法资产。这里所说的算法资产包括具体AI算法结构以及对应的参数及可能的超参。
(4)网络提供方也可以称为运营商主体,其主要提供网络能力。这里所说的网络能力包括带宽规格、时延规格等。
二、协作组织层用于对AI隐私计算的需求方发起的协作进行撮合,该层最终输出的是协作合约,该协作合约为区块链智能合约。在智能合约中,AI隐私计算被组织为具有流程衔接的多个第一计算组,每个第一计算组中规定了协作的参与方、各数据提供方提供的数据量和筛选条件、隐私计算的后端类型、使用的AI算法类型。
三、服务质量层用于对AI隐私计算的需求方发起的协作进行服务质量的描述,该层最终输出的是服务质量合约,该服务质量合约为区块链智能合约。服务质量合约列出了AI隐私计算的完成时间区间及其细项构成,并以此对服务质量进行约束;该完成时间是综合所有第二计算组的开销情况预估而来,而每个第二计算组的开销估计又由基于效果的第一开销(AI算法在特定批尺寸batchsize下的训练轮次)和基准计算的第二开销(AI算法特定批尺寸batchsize下每一轮训练所需要的时延)组成。
其中,第一开销和第二开销均由服务质量计算器完成,该服务质量计算器在可信环境(如可信执行环境中)基于预设的处理模型(具体见图5)对服务质量进行计算;在跨域AI隐私计算的实施过程中,各参与方根据协作合约进行工具链和数据的准备,根据服务质量合约进行计算资源和网络资源的准备。
请参考图2,其示出了本申请一个实施例提供的基于区块链的跨域AI隐私计算的协商方法的方法流程图,该基于区块链的跨域AI隐私计算的协商方法可以应用于协商系统中。该基于区块链的跨域AI隐私计算的协商方法,可以包括:
步骤201,至少一个资源方在区块链上进行资源注册。
资源方可以是图1中所示的算力提供方、数据提供方、算法提供方和网络提供方。其中,每个资源方都可以向区块链发送注册请求,该注册请求中包含资源信息。
比如,算力提供方发送的注册请求中可以包括硬件列表信息和计算能力的规格;数据提供方发送的注册请求中可以包括数据集情况、数据条目数量、数据条目字段、数据集授权等信息;算法提供方发送的注册请求中可以包括具体AI算法结构以及对应的参数及可能的超参;网络提供方发送的注册请求中可以包括带宽规格、时延规格等网络能力信息。
步骤202,需求方、至少一个参与方和智能合约利用注册的资源协商生成协作合约,该协作合约用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端。
对于需求方发起的协作,需求方、至少一个参与方和智能合约可以共同协商来生成协作合约,该协作合约为区块链智能合约。在智能合约中,AI隐私计算被组织为具有流程衔接的多个第一计算组,每个第一计算组中规定了协作的参与方、各数据提供方提供的数据量和筛选条件、隐私计算的后端类型、使用的AI算法类型。
步骤203,需求方、服务质量计算器、部分资源方和智能合约协商生成服务质量合约,并对服务质量合约与协作合约进行关联,该服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方和其提供的服务质量规格。
在完成协作的协商后,需求方、服务质量计算器、部分资源方和智能合约可以协商生成服务质量合约,该服务质量合约为区块链智能合约。服务质量合约列出了AI隐私计算的完成时间区间及其细项构成,并以此对服务质量进行约束。
步骤204,部分资源方按照服务质量规格进行资源准备和协调。
这里所说的部分资源方可以是算力提供方和网络提供方,其中,算力提供方可以准备计算资源,网络提供方可以准备网络资源,彼此之间再进行协调。
综上所述,本申请实施例提供的基于区块链的跨域AI隐私计算的协商方法,需求方、至少一个参与方和智能合约可以利用资源方注册的资源协商生成协作合约,该协作合约用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;然后,需求方、服务质量计算器、部分资源方和智能合约再协商生成服务质量合约,并对服务质量合约与协作合约进行关联,该服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方和其提供的服务质量规格,最后,部分资源方按照服务质量规格进行资源准备和协调,这样,可以借助区块链全局综合进行计算,为跨数据中心和跨域的AI隐私计算提供基于区块链的服务质量管理配套。
请参考图3,其示出了本申请一个实施例提供的基于区块链的跨域AI隐私计算的协商方法的方法流程图,该基于区块链的跨域AI隐私计算的协商方法可以应用于协商系统中。该基于区块链的跨域AI隐私计算的协商方法,可以包括:
步骤301,至少一个资源方在区块链上进行资源注册。
资源方可以是图1中所示的算力提供方、数据提供方、算法提供方和网络提供方。其中,每个资源方都可以向区块链发送注册请求,该注册请求中包含资源信息。
比如,算力提供方发送的注册请求中可以包括硬件列表信息和计算能力的规格;数据提供方发送的注册请求中可以包括数据集情况、数据条目数量、数据条目字段、数据集授权等信息;算法提供方发送的注册请求中可以包括具体AI算法结构以及对应的参数及可能的超参;网络提供方发送的注册请求中可以包括带宽规格、时延规格等网络能力信息。
步骤302,需求方在智能合约中创建协作合约,并根据注册的资源在协作合约中定义各个第一计算组。
其中,协作合约用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端。
智能合约中存储有协作合约的模板,需求方可以基于该模板创建协作合约,并在协作合约中定义各个第一计算组。其中,每个协作合约都对应于分配的一个标识。
步骤303,智能合约向各个第一计算组中定义的参与方发送第一通知。
智能合约在获取到需求方发起的协作合约后,可以直接向各个第一计算组中定义的参与方发送第一通知,也可以先对协作合约进行检测,在确定协作合约中的合约内容没有冲突后,向各个第一计算组中定义的参与方发送第一通知。
以检测参与方对数据集的访问权限为例,则当资源方为数据提供方,且数据提供方注册的资源包括数据集授权信息时,在智能合约向各个第一计算组中定义的参与方发送第一通知之前,智能合约可以获取协作合约中定义的各个参与方能够访问的数据集的访问权限信息;智能合约检测访问权限信息与数据集授权信息是否相匹配;当访问权限信息与数据集授权信息不匹配时,智能合约确定协作合约失效;当访问权限信息与数据集授权信息相匹配时,智能合约触发执行向各个第一计算组中定义的参与方发送第一通知的步骤。
其中,数据集授权信息可以是黑名单或白名单,访问权限信息可以是参与方需要访问的数据集,则智能合约可以根据访问权限信息检测参与方是否在某一个数据集的黑名单或白名单中,若参与方在黑名单中,则认为访问权限信息与数据集授权信息不匹配,确定协作合约失效;若参与方在白名单中,则认为访问权限信息与数据集授权信息相匹配,继续执行步骤303。
步骤304,每个参与方在接收到第一通知后,在智能合约中上查看协作合约,并对协作合约进行确认。
参与方可以在链上查看协作合约的合约内容,若认为合约内容无误,则进行确认,若认为合约内容有误,则不进行确认。
步骤305,在确定所有参与方都进行确认后,智能合约确定协作合约生效。
如果所有的参与方都对协作合约进行了确认,则智能合约会认为磋商成功,即协作合约生效,此时转入服务质量协商阶段。若在超时时存在至少一个参与方未进行确认,则智能合约确定协作合约失效。
步骤306,智能合约向服务质量计算器发送第二通知。
步骤307,服务质量计算器在接收到第二通知后,根据AI算法类型和部分资源方预估基于效果的第一开销,根据隐私计算后端和部分资源方预估基准计算的第二开销,根据第一开销和第二开销生成多种服务质量规格,在智能合约中创建包含多种服务质量规格的服务质量合约。
其中,服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方和其提供的服务质量规格,这里所说的部分资源方包括算力提供方和网络提供方,多种服务质量规格可以是多种时延。可选的,服务质量合约中还可以包括协作合约的标识。
服务质量计算器主要用于对AI隐私计算的开销进行预估,从而为AI隐私计算的需求方提供不同的算法运行时间(时延)选择。本实施例中,开销主要分为第一开销(基于效果的开销预估)和第二开销(基准计算的开销预估),前者是对达到一定的算法指标(如准确率)而需要的训练单元数目(如训练轮次),后者是算法运行的基本单元(如AI算法训练的一个轮次)的开销。
当第一开销是AI隐私算法的训练轮次时,根据AI算法类型和部分资源方预估基于效果的第一开销,可以包括:服务质量计算器从协作合约中获取当前任务的数据体量分布;当部分资源方为数据提供方时,服务质量计算器获取数据提供方提供的当前任务的数据分布情况;服务质量计算器获取AI算法类型下的历史任务的运行记录,根据运行记录、数据体量分布和数据分布情况,计算历史任务与当前任务的数据体量分布相似度和数据分布异质度差值;服务质量计算器根据数据体量分布相似度和数据分布异质度差值筛选目标运行记录,利用贝叶斯网络和目标运行记录预估第一开销。
在预估第一开销时,服务质量计算器需要获取AI算法类型下的历史任务,再从数据分布异质程度和数据体量分布这两个方面,对历史任务与当前任务进行比较,从而筛选出与当前任务比较相似的历史任务的目标运行记录,基于筛选出的目标运行记录来预估当前任务的第一开销,其计算流程如图4所示。其中,数据分布情况由参与隐私计算的各数据方进行提供,比如,数据提供方可以使用差分隐私特性作为提供数据分布情况的隐私保障;数据体量分布由服务质量计算器根据协作合约得到。
在计算出数据体量分布相似度和数据分布异质度差值后,服务质量计算器可以筛选目标运行记录,具体的,服务质量计算器可以基于数据体量分布相似度计算第一筛选范围,基于数据分布异质度差值计算第二筛选范围;服务质量计算器筛选数据体量分布相似度属于第一筛选范围内,且数据分布异质度差值属于第二筛选范围内的运行记录,将筛选出的运行记录确定为目标运行记录。
其中,第一筛选范围可以是以数据体量分布相似度的数值为中心确定的一个数值范围,第二筛选范围可以是以数据分布异质度差值的数值为中心确定的一个数值范围。
在筛选出目标运行记录后,服务质量计算器可以以这些目标运行记录作为样本,利用贝叶斯网络对AI隐私算法的训练轮次进行预估。
需要说明的是,在AI隐私计算结束后,服务质量计算器需要向算力提供方获取当前任务的真实训练轮次,并将该真实训练轮次更新到当前任务的运行记录中。
当第二开销是训练AI隐私算法时一个训练轮次的时延时,根据隐私计算后端和部分资源方预估基准计算的第二开销,可以包括:服务质量计算器根据隐私计算后端的类型对AI隐私算法进行编译;服务质量计算器统计编译后的指令数量和指令分布,并统计各个参与方之间的通信轮次和通信量;当部分资源方包括算力提供方和网络提供方时,对于算力提供方提供的每种算力规格和网络提供方提供的每种网络规格,服务质量计算器在不同的计算规格和网络规格的组合下,根据指令数量、指令分布、通信轮次和通信量计算多种第二开销。
如图5所示,服务质量计算器可以根据协作合约中的隐私计算后端的类型(TEE、MPC、HE、DP),对AI隐私算法进行编译,在计算方面,对编译后的指令数量和指令分布进行统计;网络方面,对通信轮次和通信量进行统计,在此基础上,结合网络和算力的规格对AI隐私计算整体的时延进行预估。服务质量计算器可以在不同的算力和网络规格上,重复使用上述方法进行计算,就可以得到不同的时延,也即图5中的基准计算开销预估1~n。
服务质量服务器在得到第一开销和多个第二开销后,可以将第一开销和每个第二开销相乘,从而得到多个服务质量规格。比如,第一开销是1000轮,第一个第二开销是0.01秒/轮,第二个第二开销是0.05秒/轮,则可以计算出第一种服务质量规格是10秒,第二种服务质量规格是50秒。
可选的,还可以设置误差范围,则可以将每种服务质量规格转换为一个区间。比如,误差范围为10%,则第一种服务质量规格为9~11秒,第二种服务质量规格为45~55秒。
步骤308,智能合约向需求方发送第三通知。
步骤309,需求方在接收到第三通知后,将从服务质量合约中选择的一种服务质量规格发送给智能合约。
本实施例中,需求方可以从服务质量合约中提供的多种服务质量规格中选择一种服务质量规格,并将该服务质量规格发送给智能合约。
步骤310,智能合约通知资源方对服务质量规格进行确认,在完成确认后,确定服务质量合约生效,并对服务质量合约与协作合约进行关联。
其中,对服务质量合约与协作合约进行关联,可以是在服务质量合约中设置协作合约的标识。
步骤311,部分资源方按照服务质量规格进行资源准备和协调。
这里所说的部分资源方可以是算力提供方和网络提供方,其中,算力提供方可以准备计算资源,网络提供方可以准备网络资源,彼此之间再进行协调。
综上所述,本申请实施例提供的基于区块链的跨域AI隐私计算的协商方法,需求方、至少一个参与方和智能合约可以利用资源方注册的资源协商生成协作合约,该协作合约用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;然后,需求方、服务质量计算器、部分资源方和智能合约再协商生成服务质量合约,并对服务质量合约与协作合约进行关联,该服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方和其提供的服务质量规格,最后,部分资源方按照服务质量规格进行资源准备和协调,这样,可以借助区块链全局综合进行计算,为跨数据中心和跨域的AI隐私计算提供基于区块链的服务质量管理配套。
另外,服务质量计算器还可以计算第一开销和第二开销,从而在AI隐私计算的服务质量协商中综合考虑计算效果和计算质量,并提供不同的服务质量规格,使得需求方能够根据自身的需求来选择合适的服务质量规格。
请参考图6,下面对基于区块链的跨域AI隐私计算的协商方法的流程进行简化,则其包括以下步骤:
1、数据提供方、算力提供方、网络提供方、算法提供方在区块链上进行资源注册。
2、AI隐私计算的需求方在智能合约中创建协作合约,并在协作合约中定义各个第一计算组。
3、参与方对协作合约进行确认。
4、在协作协商完成后,服务质量计算器预估第一开销和第二开销。
5、服务质量计算器根据第一开销和第二开销创建服务质量合约。
6、需求方和参与方对服务质量合约进行确认。在完成确认后,算力提供方和网络提供方进行资源准备和协调。
请参考图7,其示出了本申请一个实施例提供的基于区块链的跨域AI隐私计算的协商系统的结构框图。该基于区块链的跨域AI隐私计算的协商系统,可以包括需求方710、至少一个参与方720、至少一个资源方730、服务质量计算器740和智能合约750;
至少一个资源方730,用于在区块链上进行资源注册;
需求方710、至少一个参与方720和智能合约750,用于利用注册的资源协商生成协作合约,协作合约用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方720、数据量和筛选条件、AI算法类型和隐私计算后端;
需求方710、服务质量计算器740、部分资源方730和智能合约750,用于协商生成服务质量合约,并对服务质量合约与协作合约进行关联,服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方730和其提供的服务质量规格;
部分资源方730,还用于按照服务质量规格进行资源准备和协调。
在一个可选的实施例中,需求方710,还用于在智能合约750中创建协作合约,并根据注册的资源在协作合约中定义各个第一计算组;
智能合约750,还用于向各个第一计算组中定义的参与方720发送第一通知;
每个参与方720,还用于在接收到第一通知后,在智能合约750中上查看协作合约,并对协作合约进行确认;
在确定所有参与方720都进行确认后,智能合约750,还用于确定协作合约生效。
在一个可选的实施例中,若在超时时存在至少一个参与方720未进行确认,则智能合约750,还用于确定协作合约失效。
在一个可选的实施例中,当资源方730为数据提供方,且数据提供方注册的资源包括数据集授权信息时,智能合约750,还用于获取协作合约中定义的各个参与方720能够访问的数据集的访问权限信息;
智能合约750,还用于检测访问权限信息与数据集授权信息是否相匹配;
当访问权限信息与数据集授权信息不匹配时,智能合约750,还用于确定协作合约失效;
当访问权限信息与数据集授权信息相匹配时,智能合约750,还用于触发执行向各个第一计算组中定义的参与方720发送第一通知的步骤。
在一个可选的实施例中,智能合约750,还用于向服务质量计算器740发送第二通知;
服务质量计算器740,还用于在接收到第二通知后,根据AI算法类型和部分资源方730预估基于效果的第一开销,根据隐私计算后端和部分资源方730预估基准计算的第二开销,根据第一开销和第二开销生成多种服务质量规格,在智能合约750中创建包含多种服务质量规格的服务质量合约;
智能合约750,还用于向需求方710发送第三通知;
需求方710,还用于在接收到第三通知后,将从服务质量合约中选择的一种服务质量规格发送给智能合约750;
智能合约750,还用于通知资源方730对服务质量规格进行确认,在完成确认后,确定服务质量合约生效。
在一个可选的实施例中,当第一开销是AI隐私算法的训练轮次时,服务质量计算器740,还用于从协作合约中获取当前任务的数据体量分布;
当部分资源方730为数据提供方时,服务质量计算器740,还用于获取数据提供方提供的当前任务的数据分布情况;
服务质量计算器740,还用于获取AI算法类型下的历史任务的运行记录,根据运行记录、数据体量分布和数据分布情况,计算历史任务与当前任务的数据体量分布相似度和数据分布异质度差值;
服务质量计算器740,还用于根据数据体量分布相似度和数据分布异质度差值筛选目标运行记录,利用贝叶斯网络和目标运行记录预估第一开销。
在一个可选的实施例中,服务质量计算器740,还用于基于数据体量分布相似度计算第一筛选范围,基于数据分布异质度差值计算第二筛选范围;
服务质量计算器740,还用于筛选数据体量分布相似度属于第一筛选范围内,且数据分布异质度差值属于第二筛选范围内的运行记录,将筛选出的运行记录确定为目标运行记录。
在一个可选的实施例中,当二开销是训练AI隐私算法时一个训练轮次的时延时,服务质量计算器740,还用于根据隐私计算后端的类型对AI隐私算法进行编译;
服务质量计算器740,还用于统计编译后的指令数量和指令分布,并统计各个参与方720之间的通信轮次和通信量;
当部分资源方730包括算力提供方和网络提供方时,对于算力提供方提供的每种算力规格和网络提供方提供的每种网络规格,服务质量计算器740,还用于在不同的计算规格和网络规格的组合下,根据指令数量、指令分布、通信轮次和通信量计算不同的第二开销。
在一个可选的实施例中,资源方730包括算力提供方、数据提供方、算法提供方和网络提供方。
综上所述,本申请实施例提供的基于区块链的跨域AI隐私计算的协商系统,需求方、至少一个参与方和智能合约可以利用资源方注册的资源协商生成协作合约,该协作合约用于定义AI隐私计算的工作流中的各个第一计算组,第一计算组中包括至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;然后,需求方、服务质量计算器、部分资源方和智能合约再协商生成服务质量合约,并对服务质量合约与协作合约进行关联,该服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,第二计算组中包括部分资源方和其提供的服务质量规格,最后,部分资源方按照服务质量规格进行资源准备和协调,这样,可以借助区块链全局综合进行计算,为跨数据中心和跨域的AI隐私计算提供基于区块链的服务质量管理配套。
另外,服务质量计算器还可以计算第一开销和第二开销,从而在AI隐私计算的服务质量协商中综合考虑计算效果和计算质量,并提供不同的服务质量规格,使得需求方能够根据自身的需求来选择合适的服务质量规格。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请实施例的保护范围之内。
Claims (7)
1.一种基于区块链的跨域AI隐私计算的协商方法,其特征在于,用于包含需求方、至少一个参与方、至少一个资源方、服务质量计算器和智能合约的协商系统中,所述方法包括:
所述至少一个资源方在区块链上进行资源注册;
所述需求方、所述至少一个参与方和所述智能合约利用注册的资源协商生成协作合约,所述协作合约用于定义AI隐私计算的工作流中的各个第一计算组,所述第一计算组中包括所述至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;
所述需求方、所述服务质量计算器、部分资源方和所述智能合约协商生成服务质量合约,并对所述服务质量合约与所述协作合约进行关联,所述服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,所述第二计算组中包括所述部分资源方和其提供的服务质量规格;其中,对所述服务质量合约与所述协作合约进行关联是指在所述服务质量合约中设置所述协作合约的标识;
所述部分资源方按照所述服务质量规格进行资源准备和协调;
所述需求方、所述服务质量计算器、部分资源方和所述智能合约协商生成服务质量合约,包括:所述智能合约向所述服务质量计算器发送第二通知;所述服务质量计算器在接收到所述第二通知后,根据所述AI算法类型和部分资源方预估基于效果的第一开销,根据所述隐私计算后端和部分资源方预估基准计算的第二开销,根据所述第一开销和所述第二开销生成多种服务质量规格,在所述智能合约中创建包含所述多种服务质量规格的服务质量合约;所述智能合约向所述需求方发送第三通知;所述需求方在接收到所述第三通知后,将从所述服务质量合约中选择的一种服务质量规格发送给所述智能合约;所述智能合约通知所述资源方对所述服务质量规格进行确认,在完成确认后,确定所述服务质量合约生效;
当所述第一开销是所述AI隐私计算的训练轮次时,所述根据所述AI算法类型和部分资源方预估基于效果的第一开销,包括:所述服务质量计算器从所述协作合约中获取当前任务的数据体量分布;当所述部分资源方为数据提供方时,所述服务质量计算器获取所述数据提供方提供的当前任务的数据分布情况;所述服务质量计算器获取所述AI算法类型下的历史任务的运行记录,根据所述运行记录、所述数据体量分布和所述数据分布情况,计算所述历史任务与所述当前任务的数据体量分布相似度和数据分布异质度差值;所述服务质量计算器根据所述数据体量分布相似度和所述数据分布异质度差值筛选目标运行记录,利用贝叶斯网络和所述目标运行记录预估所述第一开销;
当所述第 二开销是训练所述AI隐私计算时一个训练轮次的时延时,所述根据所述隐私计算后端和部分资源方预估基准计算的第二开销,包括:所述服务质量计算器根据所述隐私计算后端的类型对所述AI隐私计算进行编译;所述服务质量计算器统计编译后的指令数量和指令分布,并统计各个参与方之间的通信轮次和通信量;当所述部分资源方包括算力提供方和网络提供方时,对于所述算力提供方提供的每种算力规格和所述网络提供方提供的每种网络规格,所述服务质量计算器在不同的计算规格和网络规格的组合下,根据所述指令数量、所述指令分布、所述通信轮次和所述通信量计算不同的第二开销。
2.根据权利要求1所述的方法,其特征在于,所述需求方、所述至少一个参与方和所述智能合约利用注册的资源协商生成协作合约,包括:
所述需求方在所述智能合约中创建协作合约,并根据注册的资源在所述协作合约中定义各个第一计算组;
所述智能合约向各个第一计算组中定义的参与方发送第一通知;
每个参与方在接收到所述第一通知后,在所述智能合约中上查看所述协作合约,并对所述协作合约进行确认;
在确定所有参与方都进行确认后,所述智能合约确定所述协作合约生效。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若在超时时存在至少一个参与方未进行确认,则所述智能合约确定所述协作合约失效。
4.根据权利要求2所述的方法,其特征在于,当所述资源方为数据提供方,且所述数据提供方注册的资源包括数据集授权信息时,在所述智能合约向各个第一计算组中定义的参与方发送第一通知之前,所述方法还包括:
所述智能合约获取所述协作合约中定义的各个参与方能够访问的数据集的访问权限信息;
所述智能合约检测所述访问权限信息与所述数据集授权信息是否相匹配;
当所述访问权限信息与所述数据集授权信息不匹配时,所述智能合约确定所述协作合约失效;
当所述访问权限信息与所述数据集授权信息相匹配时,所述智能合约触发执行所述向各个第一计算组中定义的参与方发送第一通知的步骤。
5.根据权利要求1所述的方法,其特征在于,所述服务质量计算器根据所述数据体量分布相似度和所述数据分布异质度差值筛选目标运行记录,包括:
所述服务质量计算器基于所述数据体量分布相似度计算第一筛选范围,基于所述数据分布异质度差值计算第二筛选范围;
所述服务质量计算器筛选数据体量分布相似度属于所述第一筛选范围内,且数据分布异质度差值属于所述第二筛选范围内的运行记录,将筛选出的运行记录确定为目标运行记录。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述资源方包括算力提供方、数据提供方、算法提供方和网络提供方。
7.一种基于区块链的跨域AI隐私计算的协商系统,其特征在于,所述协商系统包括需求方、至少一个参与方、至少一个资源方、服务质量计算器和智能合约;
所述至少一个资源方,用于在区块链上进行资源注册;
所述需求方、所述至少一个参与方和所述智能合约,用于利用注册的资源协商生成协作合约,所述协作合约用于定义AI隐私计算的工作流中的各个第一计算组,所述第一计算组中包括所述至少一个参与方、数据量和筛选条件、AI算法类型和隐私计算后端;
所述需求方、所述服务质量计算器、部分资源方和所述智能合约,用于协商生成服务质量合约,并对所述服务质量合约与所述协作合约进行关联,所述服务质量合约用于定义AI隐私计算的工作流中的各个第二计算组,所述第二计算组中包括所述部分资源方和其提供的服务质量规格;其中,对所述服务质量合约与所述协作合约进行关联是指在所述服务质量合约中设置所述协作合约的标识;
所述部分资源方,还用于按照所述服务质量规格进行资源准备和协调;
所述智能合约,还用于向所述服务质量计算器发送第二通知;所述服务质量计算器,还用于在接收到所述第二通知后,根据所述AI算法类型和部分资源方预估基于效果的第一开销,根据所述隐私计算后端和部分资源方预估基准计算的第二开销,根据所述第一开销和所述第二开销生成多种服务质量规格,在所述智能合约中创建包含所述多种服务质量规格的服务质量合约;所述智能合约,还用于向所述需求方发送第三通知;所述需求方,还用于在接收到所述第三通知后,将从所述服务质量合约中选择的一种服务质量规格发送给所述智能合约;所述智能合约,还用于通知所述资源方对所述服务质量规格进行确认,在完成确认后,确定所述服务质量合约生效;
当所述第一开销是所述AI隐私计算的训练轮次时,所述服务质量计算器,还用于:从所述协作合约中获取当前任务的数据体量分布;当所述部分资源方为数据提供方时,获取所述数据提供方提供的当前任务的数据分布情况;获取所述AI算法类型下的历史任务的运行记录,根据所述运行记录、所述数据体量分布和所述数据分布情况,计算所述历史任务与所述当前任务的数据体量分布相似度和数据分布异质度差值;根据所述数据体量分布相似度和所述数据分布异质度差值筛选目标运行记录,利用贝叶斯网络和所述目标运行记录预估所述第一开销;
当所述第 二开销是训练所述AI隐私计算时一个训练轮次的时延时,所述服务质量计算器,还用于根据所述隐私计算后端的类型对所述AI隐私计算进行编译;统计编译后的指令数量和指令分布,并统计各个参与方之间的通信轮次和通信量;当所述部分资源方包括算力提供方和网络提供方时,对于所述算力提供方提供的每种算力规格和所述网络提供方提供的每种网络规格,在不同的计算规格和网络规格的组合下,根据所述指令数量、所述指令分布、所述通信轮次和所述通信量计算不同的第二开销。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210329208.2A CN114417361B (zh) | 2022-03-31 | 2022-03-31 | 基于区块链的跨域ai隐私计算的协商方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210329208.2A CN114417361B (zh) | 2022-03-31 | 2022-03-31 | 基于区块链的跨域ai隐私计算的协商方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114417361A CN114417361A (zh) | 2022-04-29 |
CN114417361B true CN114417361B (zh) | 2022-08-26 |
Family
ID=81263088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210329208.2A Active CN114417361B (zh) | 2022-03-31 | 2022-03-31 | 基于区块链的跨域ai隐私计算的协商方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114417361B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116431929B (zh) * | 2023-06-12 | 2024-03-01 | 深圳前海环融联易信息科技服务有限公司 | 基于隐私计算的信息推荐方法、装置、设备及介质 |
CN117742701A (zh) * | 2024-02-02 | 2024-03-22 | 天讯瑞达通信技术有限公司 | 一种基于区块链的ai隐私计算平台 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533539B (zh) * | 2019-09-05 | 2023-01-17 | 成都交子金服科技股份有限公司 | 基于区块链和ai技术的创新型企业增值权投资交易平台 |
CN112231746B (zh) * | 2020-09-10 | 2024-02-02 | 杭州锘崴信息科技有限公司 | 联合数据分析方法、装置、系统及计算机可读存储介质 |
CN112417035A (zh) * | 2020-10-19 | 2021-02-26 | 易联众信息技术股份有限公司 | 一种基于区块链的预言机服务的竞标方法及系统 |
CN114219338A (zh) * | 2021-12-21 | 2022-03-22 | 新智我来网络科技有限公司 | 基于联合学习的资源分配方法及装置 |
CN114048515B (zh) * | 2022-01-11 | 2022-03-22 | 四川大学 | 一种基于联邦学习和区块链的医疗大数据共享方法 |
-
2022
- 2022-03-31 CN CN202210329208.2A patent/CN114417361B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114417361A (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114417361B (zh) | 基于区块链的跨域ai隐私计算的协商方法及系统 | |
CN111062044B (zh) | 基于区块链的模型联合训练方法及装置 | |
KR102254809B1 (ko) | 블록체인에 기반한, 자원 공유에 따른 보상 제공하는 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치 | |
US11748137B2 (en) | Methods and apparatus for multi-provider virtual network services | |
WO2015140745A2 (en) | A system and method for managing workflows associated with a document exchanged between a first service provider and a second service provider | |
Ranathunga et al. | Blockchain-based decentralized model aggregation for cross-silo federated learning in industry 4.0 | |
CN111612452A (zh) | 一种基于区块链的知识产权管理系统及方法 | |
US20210014320A1 (en) | Methods and apparatus for multi-provider virtual network services | |
CN110855701A (zh) | 一种基于区块链的基础设施服务方法及装置 | |
CN112597240A (zh) | 一种基于联盟链的联邦学习的数据处理方法与系统 | |
Jain et al. | Auction based cost‐efficient resource allocation by utilizing blockchain in fog computing | |
CN112184220A (zh) | 安全多方计算方法、电子设备及存储介质 | |
Ruan et al. | Edge in-network computing meets blockchain: A multi-domain heterogeneous resource trust management architecture | |
Lin et al. | A proof-of-majority consensus protocol for blockchain-enabled collaboration infrastructure of 5G network slice brokers | |
Kaushik et al. | Multi-level trust agreement in cloud environment | |
Dragoni | Toward trustworthy web services-approaches, weaknesses and trust-by-contract framework | |
CN115525919A (zh) | 隐私计算中计算资源的确定方法、装置及系统 | |
CN116402169A (zh) | 一种联邦建模验证方法、装置、设备及存储介质 | |
CN1922628A (zh) | 对交易进行控制 | |
Chen et al. | A Novel Smart Contract based Optimized Cloud Selection Framework for Efficient Multi-Party Computation. | |
JP2021521699A (ja) | ブロックチェーン・ネットワークに関与する周期的に順序付けられたノードの集合によって実施されるタスクを制御するためのコンピュータ実装方法およびシステム | |
US11226825B2 (en) | Dynamic assignment of special tasks in distributed networks | |
de Vos et al. | Match: A decentralized middleware for fair matchmaking in peer-to-peer markets | |
CN116402366A (zh) | 基于联合学习的数据贡献评价方法及装置 | |
CN112488481A (zh) | 基于联盟链的服务提供者确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |