CN116932617A - 跨平台的数据处理方法、装置、设备和介质 - Google Patents
跨平台的数据处理方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116932617A CN116932617A CN202210333031.3A CN202210333031A CN116932617A CN 116932617 A CN116932617 A CN 116932617A CN 202210333031 A CN202210333031 A CN 202210333031A CN 116932617 A CN116932617 A CN 116932617A
- Authority
- CN
- China
- Prior art keywords
- data
- data resource
- target
- resource
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 226
- 238000012549 training Methods 0.000 claims abstract description 153
- 238000013475 authorization Methods 0.000 claims abstract description 135
- 238000000034 method Methods 0.000 claims abstract description 121
- 230000004044 response Effects 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 50
- 238000012550 audit Methods 0.000 claims description 85
- 238000013507 mapping Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 46
- 230000003993 interaction Effects 0.000 claims description 44
- 238000004891 communication Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 12
- 238000007726 management method Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000003032 molecular docking Methods 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种跨平台的数据处理方法,属于数据安全技术领域。方法包括:在数据使用端的数据资源选择界面显示用于描述数据提供端发布至兼容至少两种隐私计算组件的融合计算平台的数据资源的数据资源描述信息;每种隐私计算组件有相应的计算组件接口;响应于数据资源选定操作从数据资源描述信息中确定目标数据资源描述信息;目标数据资源描述信息指向的目标数据资源由目标数据提供端提供;响应于授权申请操作触发对目标数据资源授权;目标数据资源被授权后指示基于使用端样本数据和目标数据资源联合训练业务模型,训练过程中数据使用端和目标数据提供端分别基于与各自匹配的计算组件接口与融合计算平台通信。采用本方法可满足更多业务场景需求。
Description
技术领域
本申请涉及数据安全技术,特别是涉及一种跨平台的数据处理方法、装置、设备和介质。
背景技术
在大数据时代,海量数据的交叉计算和人工智能的发展为各行各业的业务提供了更好的支持,但这些被使用的数据往往包含一些隐私数据,比如企业和机构的内部数据。这些数据基于数据安全的考虑,往往是不对外开放的。因此,基于企业或机构对数据的隐私保护需求,各方的数据形成了一个个数据孤岛,数据之间不能互通,数据的价值无法体现。
为了能够让各行各业的数据进行流通,在传统技术中,主要是在基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算。然而,传统的数据处理方法不支持异构平台之间的数据交互,即,不支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可适用的业务场景有限,无法满足更多业务场景的需求。
发明内容
基于此,有必要针对上述技术问题,提供一种能够满足更多业务场景需求的跨平台的数据处理方法、装置、设备和介质。
第一方面,本申请提供了一种跨平台的数据处理方法,所述方法包括:
在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息;所述数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
响应于数据资源选定操作,从所述至少一条数据资源描述信息中确定选定的目标数据资源描述信息;所述目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供;
响应于授权申请操作,触发针对所述目标数据资源进行授权;其中,所述目标数据资源被授权使用后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据使用端和所述目标数据提供端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
第二方面,本申请提供了一种跨平台的数据处理装置,所述装置包括:
第一显示模块,用于在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息;所述数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
确定模块,用于响应于数据资源选定操作,从所述至少一条数据资源描述信息中确定选定的目标数据资源描述信息;所述目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供;
第一触发模块,用于响应于授权申请操作,触发针对所述目标数据资源进行授权;其中,所述目标数据资源被授权使用后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据使用端和所述目标数据提供端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
在一个实施例中,在所述目标数据资源被授权使用后,所述第一触发模块还用于响应于模型训练触发操作,以触发所述数据使用端基于所述使用端样本数据以及所述目标数据提供端使用所述目标数据资源来联合训练待训练的业务模型。
在一个实施例中,所述数据使用端与第一计算组件接口匹配;所述目标数据提供端与第二计算组件接口匹配;所述数据使用端和所述目标数据提供端各自本地中皆有待训练的同一业务模型;所述第一触发模块还用于响应模型训练触发操作,基于所述使用端样本数据训练所述数据使用端中的业务模型,使用所述融合计算平台基于所述第一计算组件接口下发的第一公钥,对模型训练中的中间结果加密,得到第一中间特征;基于第一计算组件接口将所述第一中间特征发送至所述融合计算平台,使得所述融合计算平台基于所述第二计算组件接口将所述第一中间特征转发至所述目标数据提供端,以指示所述目标数据提供端基于所述第一中间特征和第二中间特征训练所述目标数据提供端中的业务模型;所述第二中间特征,是所述目标数据提供端基于融合计算平台下发的第二公钥,对使用所述目标数据资源训练业务模型时产生的中间结果加密得到;基于所述第一计算组件接口接收所述融合计算平台发送的所述第二中间特征,并基于所述第二中间特征和第一中间特征继续训练所述数据使用端中的业务模型,得到加密调整参数;基于第一计算组件接口上传所述加密调整参数至所述融合计算平台以及获取对所述加密调整参数解密后的调整参数;基于所述调整参数更新数据使用端中的业务模型,在训练完毕后得到数据使用端的第一业务模型;所述第一业务模型和所述目标数据提供端训练得到的第二业务模型构成联合训练的虚拟共有业务模型。
在一个实施例中,所述第一显示模块还用于在隐私计算组件选择界面上显示至少两种隐私计算组件的组件标识;响应于组件选定操作,确定选定的目标组件标识;所述第一触发模块还用于响应于授权申请操作,触发针对目标组件标识对应的目标隐私计算组件和所述目标数据资源进行授权;其中,所述目标隐私计算组件被授权使用后,用于指示所述数据使用端通过所述目标隐私计算组件相应的计算组件接口与所述融合计算平台进行通信。
在一个实施例中,所述目标组件标识和所述目标数据资源是在待创建的数据使用合约中指定的;所述授权申请操作是针对所述数据使用合约的合约创建审核操作;所述第一触发模块还用于响应于合约创建审核操作,触发所述融合计算平台和所述数据提供端分别对所述数据使用合约进行创建审核处理;审核通过的数据使用合约中指定的目标隐私计算组件和所述目标数据资源也通过使用授权。
在一个实施例中,所述目标数据资源包括所述目标数据提供端所提供的提供端样本数据;所述第一触发模块还用于在所述目标数据资源被授权使用后,响应于针对待配置的业务模型的模型配置操作,对所述待配置的业务模型进行模型训练配置,得到配置的待训练的业务模型和配置的所述待训练的业务模型的样本相关信息;响应于针对所述待训练的业务模型的模型训练触发操作,触发基于所述样本相关信息对应的使用端样本数据和所述提供端样本数据来联合训练所述待训练的业务模型。
在一个实施例中,所述第一显示模块还用于在业务模型训练完成得到虚拟共有业务模型后,显示所述数据使用端的模型调用配置界面;响应于在所述模型调用配置界面上的模型调用配置操作,获取针对所述虚拟共有业务模型配置的模型调用约束信息;所述模型调用约束信息,用于约束所述数据使用端对所述虚拟共有业务模型的调用。
在一个实施例中,所述第一显示模块还用于在业务模型训练完成得到虚拟共有业务模型后,显示所述数据使用端的模型部署配置界面;响应于在所述模型部署配置界面上的模型部署触发操作,触发针对所述虚拟共有业务模型进行模型部署配置;已部署配置的虚拟共有业务模型,用于对所述数据使用端的在线数据和所述目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供所述数据使用端在业务处理时使用的在线预测结果;所述目标在线数据,是所述目标数据提供端提供的在线数据。
上述跨平台的数据处理方法,通过在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息,数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源,融合计算平台是兼容至少两种隐私计算组件的标准化平台,每种隐私计算组件具有相应的计算组件接口。通过响应于数据资源选定操作,可以从至少一条数据资源描述信息中确定选定的目标数据资源描述信息,目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供。响应于授权申请操作,可触发针对目标数据资源进行授权。其中,目标数据资源被授权使用后,可以用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据使用端和目标数据提供端可以分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
第三方面,本申请提供了一种跨平台的数据处理方法,所述方法包括:
数据提供端接收数据使用端发送的数据资源授权请求;所述数据资源授权请求中携带目标数据资源描述信息;所述目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的;所述至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
响应于所述数据资源授权请求,显示针对目标数据资源的授权审核界面;所述目标数据资源是所述目标数据资源描述信息所描述的数据资源;
响应于在所述授权审核界面中针对所述目标数据资源的授权操作,显示针对所述目标数据资源的资源配置界面;
响应于在所述资源配置界面中针对所述目标数据资源的映射配置操作,建立所述目标数据资源描述信息与数据提供端本地的所述目标数据资源之间的映射关系;其中,映射关系建立后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
第四方面,本申请提供了一种跨平台的数据处理装置,所述装置包括:
接收模块,用于数据提供端接收数据使用端发送的数据资源授权请求;所述数据资源授权请求中携带目标数据资源描述信息;所述目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的;所述至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
第二显示模块,用于响应于所述数据资源授权请求,显示针对目标数据资源的授权审核界面;所述目标数据资源是所述目标数据资源描述信息所描述的数据资源;响应于在所述授权审核界面中针对所述目标数据资源的授权操作,显示针对所述目标数据资源的资源配置界面;
建立模块,用于响应于在所述资源配置界面中针对所述目标数据资源的映射配置操作,建立所述目标数据资源描述信息与数据提供端本地的所述目标数据资源之间的映射关系;其中,映射关系建立后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。第四方面,本申请提供了一种跨平台的数据处理装置,所述装置包括:
在一个实施例中,所述装置还包括:
生成模块,用于响应于针对数据提供端中待发布的数据资源的基础信息配置操作,生成待发布的数据资源的数据资源描述信息;响应于资源发布操作,触发将所述待发布的数据资源发布至所述融合计算平台;发布后的数据资源的数据资源描述信息,用于在所述数据使用端的数据资源选择界面上进行显示。
在一个实施例中,所述第二显示模块还用于响应于数据使用端发送的针对虚拟共有业务模型的模型调用配置审核请求,显示调用配置审核界面;所述调用配置审核界面中显示有待审核的、且针对所述虚拟共有业务模型配置的模型调用约束信息;响应于调用配置同意操作,对所述模型调用约束信息进行授权;授权的模型调用约束信息,用于约束所述数据使用端对所述虚拟共有业务模型的调用。
上述跨平台的数据处理方法中,通过数据提供端接收数据使用端发送的数据资源授权请求,数据资源授权请求中携带目标数据资源描述信息,目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的,至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源,融合计算平台是兼容至少两种隐私计算组件的标准化平台,每种隐私计算组件具有相应的计算组件接口。通过响应于数据资源授权请求,可以显示针对目标数据资源的授权审核界面,目标数据资源是目标数据资源描述信息所描述的数据资源。通过响应于在授权审核界面中针对目标数据资源的授权操作,可以显示针对目标数据资源的资源配置界面,通过响应于在资源配置界面中针对目标数据资源的映射配置操作,可以建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系。其中,映射关系建立后,用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端可以分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
第五方面,本申请提供了一种跨平台的数据处理方法,所述方法包括:
响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示所述数据提供端提供的数据资源的数据资源描述信息;
根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在所述目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
第六方面,本申请提供了一种跨平台的数据处理装置,所述装置包括:
第三显示模块,用于响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示所述数据提供端提供的数据资源的数据资源描述信息;
第二触发模块,用于根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在所述目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
上述跨平台的数据处理方法中,通过响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示数据提供端提供的数据资源的数据资源描述信息。通过根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口。其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
第七方面,本申请提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现本申请各方法实施例中的步骤。
第八方面,本申请提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现本申请各方法实施例中的步骤。
第九方面,本申请提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现本申请各方法实施例中的步骤。
附图说明
图1为一个实施例中跨平台的数据处理方法的应用环境图;
图2为一个实施例中由数据使用端执行的跨平台的数据处理方法的流程示意图;
图3为一个实施例中训练业务模型的原理示意图;
图4为一个实施例中数据使用端的首页界面示意图;
图5为一个实施例中合约创建流程示意图;
图6为一个实施例中数据使用端的隐私计算组件选择界面示意图;
图7为一个实施例中数据使用端的数据资源选择界面示意图;
图8为一个实施例中数据使用端的合约信息确认界面示意图;
图9为另一个实施例中数据使用端的合约信息确认界面示意图;
图10为一个实施例中数据使用端的模型训练配置界面示意图;
图11为另一个实施例中数据使用端的模型训练配置界面示意图;
图12为一个实施例中数据使用端的模型调用配置界面示意图;
图13为一个实施例中数据使用端的模型部署配置界面示意图;
图14为另一个实施例中数据使用端的模型部署配置界面示意图;
图15为一个实施例中由数据提供端执行的跨平台的数据处理方法的流程示意图;
图16为一个实施例中数据提供端的授权审核界面示意图;
图17为一个实施例中数据提供端的资源配置界面示意图;
图18为一个实施例中待发布的数据资源的基础信息配置界面示意图;
图19为一个实施例中数据提供端的调用配置审核界面示意图;
图20为一个实施例中由平台运营端执行的跨平台的数据处理方法的流程示意图;
图21为一个实施例中平台运营端的资源发布审核界面示意图;
图22为另一个实施例中由数据使用端执行的跨平台的数据处理方法的流程示意图;
图23为一个实施例中各个平台的数据流通交互示意图;
图24为一个实施例中融合计算平台的总体架构图;
图25为一个实施例中融合计算平台的管理控制中心的架构图;
图26为又一个实施例中跨平台的数据处理流程示意图;
图27为一个实施例中融合计算平台的数据资源描述信息管理流程示意图;
图28为一个实施例中融合计算平台的数据架构图;
图29为一个实施例中融合计算平台的部署架构图;
图30为一个实施例中跨平台的数据处理装置的结构框图;
图31为另一个实施例中跨平台的数据处理装置的结构框图;
图32为又一个实施例中跨平台的数据处理装置的结构框图;
图33为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的跨平台的数据处理方法,可以应用于如图1所示的应用环境中。其中,数据使用端102和数据提供端104分别通过网络与融合计算平台106进行通信。其中,数据使用端102和数据提供端104可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。融合计算平台106可部署在服务器中,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
数据使用端102可在数据资源选择界面上显示至少一条数据资源描述信息;数据资源描述信息用于描述数据提供端104发布至融合计算平台106的数据资源;融合计算平台106是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口。数据使用端102可响应于数据资源选定操作,从至少一条数据资源描述信息中确定选定的目标数据资源描述信息;目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端104提供。数据使用端102可响应于授权申请操作,触发针对目标数据资源进行授权。其中,目标数据资源被授权使用后,用于指示基于数据使用端102的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据使用端102和目标数据提供端104分别基于与各自相匹配的计算组件接口与融合计算平台106进行通信。
需要说明的是,本申请一些实施例中的跨平台的数据处理方法使用到了人工智能技术。比如,基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,以及,对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果,也属于使用人工智能技术预测得到的在线预测结果。
另外,本申请一些实施例中的跨平台的数据处理方法使用到了区块链技术。比如,数据使用端的使用端样本数据、目标数据提供端提供的目标数据资源、以及训练业务模型过程中所产生的中间数据均可基于区块链进行存储,以避免数据被篡改。
其中,区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
在一个实施例中,如图2所示,提供了一种跨平台的数据处理方法,本实施例以该方法应用于图1中的数据使用端102为例进行说明,包括以下步骤:
步骤202,在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息;数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口。
其中,数据使用端,是指使用其他端的数据进行相应业务处理的终端。数据提供端,是指提供数据给其他端进行相应业务处理的终端。数据资源选择界面,是数据使用端中用于选择数据资源的界面。可以理解,融合计算平台可用于连通数据使用端对应的平台以及数据提供端对应的平台。数据使用端对应的平台和数据提供端对应的平台可以是同构的平台,也可以是异构的平台。同构的平台,是指数据使用端对应的平台和数据提供端对应的平台是基于同一种隐私计算组件构建的平台。异构的平台,是指数据使用端对应的平台和数据提供端对应的平台是基于不同种类的隐私计算组件构建的平台。隐私计算组件是用于隐私计算的算法组件。计算组件接口,是设计于融合计算平台中的、且用于对接隐私计算组件的标准化对接接口。
具体地,数据使用端可展示数据资源选择界面,并在所展示的数据资源选择界面上渲染显示至少一条数据资源描述信息。
在一个实施例中,数据资源描述信息可以包括数据资源的名称、数据资源所属的领域、数据资源的格式、数据资源的提供方信息、数据资源的状态、数据资源的更新时间、以及数据资源发布至融合计算平台的时间等中的至少一种。
在一个实施例中,隐私计算组件具体可包括联邦学习算法组件和多方安全计算组件等中的至少一种。
在一个实施例中,数据提供端可包括多个,数据资源描述信息可包括多条。可以理解,多条数据资源描述信息可由不同的数据提供端分别发布至融合计算平台的数据资源。举例说明,数据使用端的数据资源选择界面上显示有数据资源描述信息A、数据资源描述信息B和数据资源描述信息C。其中,数据资源描述信息A是由数据提供端1发布至融合计算平台的,数据资源描述信息B是由数据提供端2发布至融合计算平台的,数据资源描述信息C是由数据提供端3发布至融合计算平台的。
步骤204,响应于数据资源选定操作,从至少一条数据资源描述信息中确定选定的目标数据资源描述信息;目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供。
其中,数据资源选定操作是用于触发选定数据资源的操作。目标数据资源描述信息,是作为目标的数据资源描述信息,即从至少一条数据资源描述信息中所选定作为目标的数据资源描述信息。目标数据提供端,是将目标数据资源描述信息所映射指向的目标数据资源发布至融合计算平台的数据提供端。目标数据资源,是目标数据资源描述信息所映射指向的数据资源。目标数据资源描述信息所映射指向的目标数据资源,可以理解,在数据使用端的数据资源选择界面上显示的目标数据资源描述信息,仅用于描述目标数据提供端发布至融合计算平台的目标数据资源,并不代表目标数据资源本身,实际上,目标数据提供端并没有真正地将本地的目标数据资源发送至融合计算平台,目标数据提供端的目标数据资源并没有出过目标数据提供端本地。目标数据资源描述信息与目标数据资源具备映射关系,基于目标数据资源描述信息可确定目标数据资源。
具体地,数据使用方可触发数据资源选定操作,数据使用端可响应于该数据资源选定操作,从显示在数据资源选择界面上的至少一条数据资源描述信息中,确定选定的目标数据资源描述信息。
在一个实施例中,目标数据资源描述信息可包括多条,可以理解,数据使用端可从显示在数据资源选择界面上的至少一条数据资源描述信息中,选择多条数据资源描述信息作为目标数据资源描述信息。
步骤206,响应于授权申请操作,触发针对目标数据资源进行授权;其中,目标数据资源被授权使用后,用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据使用端和目标数据提供端分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。
其中,授权申请操作是用于触发对目标数据资源进行使用权限授权的操作。使用端样本数据,是存储于数据使用端本地的离线数据,用于作为模型训练的样本数据来训练业务模型。数据使用端和目标数据提供端分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,可以理解,融合计算平台中设计有分别与各自隐私计算组件相匹配的计算组件接口,在训练过程中涉及通信交互的情况下,数据使用端可基于与自身相匹配的计算组件接口与融合计算平台进行通信,同时,数据提供端也可基于与自身相匹配的计算组件接口与融合计算平台进行通信。
具体地,数据使用方可触发授权申请操作,数据使用端可响应于该授权申请操作,触发针对目标数据资源进行使用权限的授权。
上述跨平台的数据处理方法中,通过在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息,数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源,融合计算平台是兼容至少两种隐私计算组件的标准化平台,每种隐私计算组件具有相应的计算组件接口。通过响应于数据资源选定操作,可以从至少一条数据资源描述信息中确定选定的目标数据资源描述信息,目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供。响应于授权申请操作,可触发针对目标数据资源进行授权。其中,目标数据资源被授权使用后,可以用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据使用端和目标数据提供端可以分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
在一个实施例中,在目标数据资源被授权使用后,方法还包括:响应于模型训练触发操作,以触发数据使用端基于使用端样本数据以及目标数据提供端使用目标数据资源来联合训练待训练的业务模型。
其中,模型训练触发操作是用于触发对业务模型进行模型训练的操作。
具体地,用户使用方可触发模型训练触发操作,数据使用端可响应于模型训练触发操作,以触发数据使用端基于使用端样本数据以及目标数据提供端基于目标数据资源来联合训练待训练的业务模型,可以理解,在模型训练过程中,数据使用端的使用端样本数据未出数据使用端本地,目标数据提供端的目标数据资源也未出目标数据提供端本地。
上述实施例中,通过响应于模型训练触发操作,可触发数据使用端基于使用端样本数据以及目标数据提供端使用目标数据资源来联合训练待训练的业务模型,可以使得训练得到的虚拟共有业务模型的具有更高的预测准确性。
在一个实施例中,数据使用端与第一计算组件接口匹配;目标数据提供端与第二计算组件接口匹配;数据使用端和目标数据提供端各自本地中皆有待训练的同一业务模型;响应于模型训练触发操作,以触发数据使用端基于使用端样本数据以及目标数据提供端使用目标数据资源来联合训练待训练的业务模型,包括:响应模型训练触发操作,基于使用端样本数据训练数据使用端中的业务模型,使用融合计算平台基于第一计算组件接口下发的第一公钥,对模型训练中的中间结果加密,得到第一中间特征;基于第一计算组件接口将第一中间特征发送至融合计算平台,使得融合计算平台基于第二计算组件接口将第一中间特征转发至目标数据提供端,以指示目标数据提供端基于第一中间特征和第二中间特征训练目标数据提供端中的业务模型;第二中间特征,是目标数据提供端基于融合计算平台下发的第二公钥,对使用目标数据资源训练业务模型时产生的中间结果加密得到;基于第一计算组件接口接收融合计算平台发送的第二中间特征,并基于第二中间特征和第一中间特征继续训练数据使用端中的业务模型,得到加密调整参数;基于第一计算组件接口上传加密调整参数至融合计算平台以及获取对加密调整参数解密后的调整参数;基于调整参数更新数据使用端中的业务模型,在训练完毕后得到数据使用端的第一业务模型;第一业务模型和目标数据提供端训练得到的第二业务模型构成联合训练的虚拟共有业务模型。
其中,第一计算组件接口,是融合计算平台中与数据使用端的隐私计算组件相匹配的计算组件接口。第二计算组件接口,是融合计算平台中与数据提供端的隐私计算组件相匹配的计算组件接口。第一公钥,是融合计算平台基于第一计算组件接口下发的公钥。第二公钥,是融合计算平台基于第二计算组件接口下发的公钥。第一中间特征,是数据使用端基于融合计算平台下发的第一公钥,对基于使用端样本数据训练业务模型时产生的中间结果加密得到的中间特征。加密调整参数,是基于加密后的第二中间特征和加密后的第一中间特征继续训练数据使用端中的业务模型所得到的参数。调整参数,是融合计算平台对加密调整参数进行解密后得到的参数,用于在模型训练过程中调整业务模型的模型参数。第一业务模型,是对数据使用端本地中待训练的业务模型进行模型训练得到的业务模型。第二业务模型,是对数据提供端本地中待训练的业务模型进行模型训练得到的业务模型。虚拟共有业务模型,是由第一业务模型和第二业务模型共同形成的虚拟的、且由数据使用端和数据提供端共有的业务模型。可以理解,虚拟共有业务模型并不是真实存在的业务模型,虚拟共有业务模型有一部分的模型参数存储在数据使用端中,另一部分的模型参数存储在数据提供端中。
具体地,用户使用方可触发模型训练触发操作,数据使用端可响应模型训练触发操作,并基于使用端样本数据训练数据使用端中的业务模型,得到数据使用端中模型训练的中间结果。融合计算平台可基于第一计算组件接口,向数据使用端下发第一公钥,以及基于第二计算组件接口,向数据提供端下发第二公钥。数据使用端可基于融合计算平台下发的第一公钥,对基于使用端样本数据训练业务模型时产生的中间结果进行加密,得到第一中间特征。目标数据提供端可基于融合计算平台下发的第二公钥,对使用目标数据资源训练业务模型时产生的中间结果进行加密,得到第二中间特征。数据使用端可基于第一计算组件接口将第一中间特征发送至融合计算平台,融合计算平台可基于第二计算组件接口,将接收到的第一中间特征转发至目标数据提供端。目标数据提供端可基于第一中间特征和第二中间特征训练目标数据提供端中的业务模型,得到目标数据提供端对应的加密调整参数。目标数据提供端可基于第二计算组件接口上传目标数据提供端对应的加密调整参数至融合计算平台。融合计算平台可对目标数据提供端对应的加密调整参数进行解密,得到解密后的目标数据提供端对应的调整参数,并将目标数据提供端对应的调整参数基于第二计算组件接口返回至目标数据提供端。目标数据提供端可基于目标数据提供端对应的调整参数更新目标数据提供端中的业务模型,在训练完毕后得到目标数据提供端的第二业务模型。数据提供端可基于第二计算组件接口将第二中间特征发送至融合计算平台,融合计算平台可基于第一计算组件接口,将接收到的第二中间特征转发至数据使用端。数据使用端可基于第一中间特征和第二中间特征训练数据使用端中的业务模型,得到数据使用端对应的加密调整参数。数据使用端可基于第一计算组件接口上传数据使用端对应的加密调整参数至融合计算平台。融合计算平台可对数据使用端对应的加密调整参数进行解密,得到解密后的数据使用端对应的调整参数,并将数据使用端对应的调整参数基于第一计算组件接口返回至数据使用端。数据使用端可基于数据使用端对应的调整参数更新数据使用端中的业务模型,在训练完毕后得到数据使用端的第一业务模型。
举例说明,如图3所示,A平台为数据使用端A对应的平台,B平台为数据提供端B对应的平台。通过本申请的跨平台的数据处理方法实现联合A平台的数据和B平台的数据一同训练业务模型。参见图3中的a,模型训练过程中A平台和B平台中间存在防火墙对数据进行隐私保护,模型训练过程中A平台和B平台之间没有数据交互。A平台和B平台各自本地中皆有待训练的同一业务模型。在联合训练业务模型之前,可先将A平台的使用端样本数据和B平台的提供端样本数据进行加密后再进行样本对齐。样本对齐之后,参见图3中的b,联合对齐后的A平台对应的对齐数据A、以及B平台对应的对齐数据B训练样本数据仅业务模型进行加密训练。在模型加密训练过程中,参见图3中的b,数据使用端A可基于对齐数据A训练数据使用端A中的业务模型,得到数据使用端A中模型训练的中间结果。融合计算平台可基于第一计算组件接口,向数据使用端A下发第一公钥,以及基于第二计算组件接口,向数据提供端B下发第二公钥。数据使用端A可基于融合计算平台下发的第一公钥,对基于对齐数据A训练业务模型时产生的中间结果进行加密,得到第一中间特征。目标数据提供端B可基于融合计算平台下发的第二公钥,对使用对齐数据B训练业务模型时产生的中间结果进行加密,得到第二中间特征。数据使用端A可基于第一计算组件接口将第一中间特征发送至融合计算平台,融合计算平台可基于第二计算组件接口,将接收到的第一中间特征转发至目标数据提供端B。目标数据提供端B可基于第一中间特征和第二中间特征训练目标数据提供端B中的业务模型,得到目标数据提供端B对应的加密调整参数。目标数据提供端B可基于第二计算组件接口上传目标数据提供端B对应的加密调整参数至融合计算平台。融合计算平台可对目标数据提供端B对应的加密调整参数进行解密,得到解密后的目标数据提供端B对应的调整参数,并将目标数据提供端B对应的调整参数基于第二计算组件接口返回至目标数据提供端B。目标数据提供端B可基于目标数据提供端B对应的调整参数更新目标数据提供端B中的业务模型,在训练完毕后得到目标数据提供端B的第二业务模型。数据提供端B可基于第二计算组件接口将第二中间特征发送至融合计算平台,融合计算平台可基于第一计算组件接口,将接收到的第二中间特征转发至数据使用端A。数据使用端A可基于第一中间特征和第二中间特征训练数据使用端A中的业务模型,得到数据使用端A对应的加密调整参数。数据使用端A可基于第一计算组件接口上传数据使用端A对应的加密调整参数至融合计算平台。融合计算平台可对数据使用端A对应的加密调整参数进行解密,得到解密后的数据使用端A对应的调整参数,并将数据使用端A对应的调整参数基于第一计算组件接口返回至数据使用端A。数据使用端A可基于数据使用端A对应的调整参数更新数据使用端A中的业务模型,在训练完毕后得到数据使用端A的第一业务模型。进而,参见图3中的a,第一业务模型和第二业务模型构成联合训练的虚拟共有业务模型。
上述实施例中,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而可实现基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。同时,数据使用端和目标数据提供端不会直接进行数据交互,而是通过隐私计算组件对数据使用方本地的数据和目标数据提供方本地的数据进行隐私计算,以及通过融合计算平台下发的公钥对数据加密后交互,可进一步保证数据使用方和目标数据提供方的数据安全。
在一个实施例中,方法还包括:在隐私计算组件选择界面上显示至少两种隐私计算组件的组件标识;响应于组件选定操作,确定选定的目标组件标识;响应于授权申请操作,触发针对目标数据资源进行授权,包括:响应于授权申请操作,触发针对目标组件标识对应的目标隐私计算组件和目标数据资源进行授权;其中,目标隐私计算组件被授权使用后,用于指示数据使用端通过目标隐私计算组件相应的计算组件接口与融合计算平台进行通信。
其中,组件标识是用于唯一标识隐私计算组件的字符串,字符串可包括文字、数字、字母和特殊字符等中的至少一种。组件选定操作是用于选定目标组件标识的操作。目标组件标识是作为目标的组件标识,即响应于组件选定操作所选定的组件标识。目标隐私计算组件是作为目标的隐私计算组件,即是与目标组件标识对应的隐私计算组件。
具体地,数据使用端可在隐私计算组件选择界面上显示至少两种隐私计算组件的组件标识。数据使用方可触发组件选定操作,数据使用端可响应于组件选定操作,确定选定的目标组件标识。数据使用方可触发授权申请操作,数据使用端可响应于授权申请操作,触发融合计算平台针对目标组件标识对应的目标隐私计算组件进行授权,以及触发目标数据提供端针对目标数据资源进行授权。目标隐私计算组件被数据使用端授权使用后,可用于指示数据使用端通过目标隐私计算组件相应的计算组件接口与融合计算平台进行通信。
上述实施例中,通过在隐私计算组件选择界面上显示至少两种隐私计算组件的组件标识,可便于对隐私计算组件的类型的选择,得到目标组件标识。通过响应于授权申请操作,触发针对目标组件标识对应的目标隐私计算组件和目标数据资源进行授权,可以便于后续指示使用端通过目标隐私计算组件相应的计算组件接口与融合计算平台进行通信,以实现跨平台、甚至跨组件的数据交互。
在一个实施例中,目标组件标识和目标数据资源是在待创建的数据使用合约中指定的;授权申请操作是针对数据使用合约的合约创建审核操作;响应于授权申请操作,触发针对目标组件标识对应的目标隐私计算组件和目标数据资源进行授权,包括:响应于合约创建审核操作,触发融合计算平台和数据提供端分别对数据使用合约进行创建审核处理;审核通过的数据使用合约中指定的目标隐私计算组件和目标数据资源也通过使用授权。
其中,数据使用合约,是数据使用方与融合计算平台以及与目标数据提供方之间建立的数据使用协议。
具体地,数据使用方可触发合约创建审核操作,数据使用端可响应于合约创建审核操作,触发融合计算平台对数据使用合约进行创建审核处理,以及触发数据提供端对目标数据使用合约进行创建审核处理。融合计算平台对数据使用合约审核通过后,通过的数据使用合约中指定的目标隐私计算组件也通过使用授权。目标数据提供端对数据使用合约审核通过后,目标数据提供端所提供的目标数据资源也通过使用授权。
在一个实施例中,图4为数据使用端的首页界面示意图,从数据使用端的首页界面可知,数据使用端在“总览”中查看项目合约情况,比如,项目总数、待授权合约的数量、待发布合约的数量、已发布合约的数量、以及各个项目合约的列表详情,比如合约名称、合约类型、合约创建时间、合约状态和合约发布情况等。同时,数据使用端的首页界面还可对常见的数据资源的近况进行展示,比如,数据资源的数据总量和数据资管的更新时间等。数据使用方还可以在“账号中心”对账户进行设置和管理,在“数据资源”中对数据资源进行管理,在“项目合约管理”中对各个项目进行管理,在“消息中心”中对待办消息进行管理等。
在一个实施例中,如图5所示,合约创建流程主要包括填写合约的基础信息、确认合约信息、选择数据资源、等待合约创建审核以及创建合约完成等步骤。
在一个实施例中,如图6所示,数据使用端可在隐私计算组件选择界面的“合约类型”中展示的组件标识中选择目标组件标识,以确定目标隐私计算组件,以便数据使用端后续可基于目标隐私计算组件相匹配的计算组件接口与融合计算平台进行通信。在隐私计算组件选择界面中,数据使用方还可对合约的基本信息进行完善,比如,编辑合约的名称、合约所属的项目、预计合约使用期限、预计合约调用次数、以及对合约的应用场景进行简单描述等。
在一个实施例中,如图7所示,数据使用端的数据资源选择界面中可显示数据资源描述信息(即,数据资源名称、数据提供方、资源状态、更新时间和发布时间等信息),数据使用端可基于数据资源选择界面中所展示的数据资源描述信息,确定要使用的数据资源。
在一个实施例中,如图8所示,数据使用端的合约信息确认界面中可显示合约的基础信息,包括合约名称、合约类型、所属项目、预计合约使用时间、预计合约调用次数和合约应用场景备注等。此外,合约信息确认界面中还可显示合约创建的审核状态。
在一个实施例中,如图9所示,数据使用端的合约信息确认界面中除了显示合约的基础信息和合约创建的审核状态之外,还可显示数据使用方选定的数据资源的信息,包括数据资源名称和数据提供方信息等。
上述实施例中,通过引入数据使用合约,在针对数据使用合约的创建审核处理过程中,对数据使用合约中指定的目标隐私计算组件和目标数据资源进行使用权限的授权,使得授权申请更为便捷。
在一个实施例中,目标数据资源包括目标数据提供端所提供的提供端样本数据;方法还包括:在目标数据资源被授权使用后,响应于针对待配置的业务模型的模型配置操作,对待配置的业务模型进行模型训练配置,得到配置的待训练的业务模型和配置的待训练的业务模型的样本相关信息;响应于针对待训练的业务模型的模型训练触发操作,触发基于样本相关信息对应的使用端样本数据和提供端样本数据来联合训练待训练的业务模型。
其中,提供端样本数据,是存储于数据提供端本地的离线数据,用于作为模型训练的样本数据来训练业务模型。模型配置操作,是用于对待配置的业务模型进行模型训练配置的操作。模型训练配置包括针对待配置的业务模型的配置,以及针对使用端样本数据的配置。样本相关信息,是对用于训练业务模型的使用端样本数据进行样本配置得到的、且与使用端样本数据相关的信息。
具体地,在目标数据资源被授权使用后,数据使用方可触发针对待配置的业务模型的模型配置操作,数据使用端可响应于针对待配置的业务模型的模型配置操作,对待配置的业务模型进行模型训练配置,以对待训练的业务模型以及对使用端样本数据进行相关配置,得到配置的待训练的业务模型和配置的待训练的业务模型的样本相关信息。数据使用方可触发针对待训练的业务模型的模型训练触发操作,数据使用端可响应于针对待训练的业务模型的模型训练触发操作,触发基于样本相关信息对应的使用端样本数据和提供端样本数据来联合训练待训练的业务模型。
在一个实施例中,目标数据资源是在待创建的数据使用合约中指定的;授权申请操作是针对数据使用合约的合约创建审核操作。模型配置操作是针对数据使用合约的合约配置操作。
在一个实施例中,如图10所示,在目标数据资源被授权使用后,数据使用端的模型训练配置界面上可显示针对关联数据资源的授权状态、数据接入状态、以及显示数据提供方和平台运营方对关联数据资源的审核情况。在目标数据资源被授权使用后,数据使用方在数据使用端的模型训练配置界面上点击“编辑配置”,可触发对业务模型的模型配置操作,以对业务模型进行相关配置,得到待训练的业务模型。
在一个实施例中,如图11所示,数据使用方在数据使用端的模型训练配置界面上点击“编辑配置”之后,数据使用端可显示模型训练配置界面,模型训练配置界面在可显示合约名称、合约类型、合约创建审核情况、合约发布情况、授权时间等信息。数据使用方在模型训练配置界面中点击“训练”可触发模型训练触发操作,以触发基于使用端样本数据和提供端样本数据来联合训练待训练的业务模型。数据使用方在模型训练配置界面中点击“预测”可触发对业务模型进行模型预测。数据使用方在模型训练配置界面中点击“发布”可触发对业务模型进行发布配置。
上述实施例中,通过对业务模型进行模型训练配置,并通过配置得到的样本相关信息对应的使用端样本数据和提供端样本数据,联合训练配置得到的待训练的业务模型,可以提升模型训练效果,从而提升训练得到的虚拟共有业务模型的预测准确率。
在一个实施例中,方法还包括:在业务模型训练完成得到虚拟共有业务模型后,显示数据使用端的模型调用配置界面;响应于在模型调用配置界面上的模型调用配置操作,获取针对虚拟共有业务模型配置的模型调用约束信息;模型调用约束信息,用于约束数据使用端对虚拟共有业务模型的调用。
其中,模型调用配置界面,是数据使用端中用于配置虚拟共有业务模型的模型调用约束信息的界面。模型调用配置操作,是用于触发配置虚拟共有业务模型的模型调用约束信息的操作。模型调用约束信息,是对虚拟共有业务模型调用的约束信息。
具体地,在业务模型训练完成得到虚拟共有业务模型后,数据使用端可显示模型调用配置界面。数据使用方可在模型调用配置界面上触发模型调用配置操作,数据使用端可响应于在模型调用配置界面上的模型调用配置操作,获取针对虚拟共有业务模型配置的模型调用约束信息。
在一个实施例中,针对虚拟共有业务模型配置的模型调用约束信息,具体可包括调用虚拟共有业务模型的有效期限、以及调用虚拟共有业务模型的次数等中的至少一种。
在一个实施例中,目标数据资源是在待创建的数据使用合约中指定的;授权申请操作是针对数据使用合约的合约创建审核操作。模型调用配置操作是针对数据使用合约的合约发布配置操作。
在一个实施例中,如图12所示,在数据使用端的模型调用配置界面上,数据使用方可编辑针对虚拟共有业务模型配置的模型调用约束信息,比如,合约使用期限和合约调用次数等约束信息。进而,数据使用端可获取针对虚拟共有业务模型配置的模型调用约束信息。
上述实施例中,通过模型调用配置操作,获取针对虚拟共有业务模型配置的模型调用约束信息,从而可以约束数据使用端对虚拟共有业务模型的调用,进一步提升数据提供端本地数据的安全性。
在一个实施例中,方法还包括:在业务模型训练完成得到虚拟共有业务模型后,显示数据使用端的模型部署配置界面;响应于在模型部署配置界面上的模型部署触发操作,触发针对虚拟共有业务模型进行模型部署配置;已部署配置的虚拟共有业务模型,用于对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果;目标在线数据,是目标数据提供端提供的在线数据。
其中,模型部署配置界面,是用于对虚拟共有业务模型进行模型部署配置的界面。模型部署触发操作是用于触发针对虚拟共有业务模型进行模型部署配置的操作。
具体地,在业务模型训练完成得到虚拟共有业务模型后,数据使用端可显示模型部署配置界面。数据使用方可在模型部署配置界面上触发模型部署触发操作,数据使用端可响应于在模型部署配置界面上的模型部署触发操作,触发针对虚拟共有业务模型进行模型部署配置。已部署配置的虚拟共有业务模型,可用于对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到在线预测结果。数据使用端可在业务处理时使用该在线预测结果。
在一个实施例中,虚拟共有业务模型包括部署在数据使用端的第一业务模型,以及部署在目标数据提供端的第二业务模型。通过部署在数据使用端的第一业务模型,对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行预测,可以得到数据使用端的在线预测结果。通过部署在目标数据提供端的第二业务模型,对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行预测,可以得到目标数据提供端的在线预测结果。进而,融合计算平台可基于数据使用端的在线预测结果和目标数据提供端的在线预测结果,确定数据联合预测最终的在线预测结果。
在一个实施例中,目标数据资源是在待创建的数据使用合约中指定的;授权申请操作是针对数据使用合约的合约创建审核操作。模型部署触发操作是针对数据使用合约的合约部署触发操作。
在一个实施例中,如图13所示,在业务模型训练完成得到虚拟共有业务模型并发布之后,数据使用端可显示模型部署配置界面。模型部署配置界面上可显示合约名称、合约所属项目、合约类型、合约剩余调用次数、合约到期时间和合约创建时间等信息。数据使用方可点击模型部署配置界面中的“部署”,以触发对虚拟共有业务模型进行模型部署配置。已部署配置的虚拟共有业务模型,用于对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果。
在一个实施例中,如图14所示,模型部署配置完成之后,数据使用端可显示另一个模型部署配置界面,从该模型部署配置界面中,数据使用端可获取到一个密钥和数据接口文档,进而数据使用端可基于密钥和数据接口文档,调用虚拟共有业务模型对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果。
上述实施例中,通过模型部署触发操作,触发针对虚拟共有业务模型进行模型部署配置,以使得虚拟共有业务模型可以应用于线上,对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果,解决了数据孤岛和平台孤岛问题,提升数据使用端的业务处理的准确性。
在一个实施例中,如图15所示,提供了一种跨平台的数据处理方法,本实施例以该方法应用于图1中的数据提供端104为例进行说明,包括以下步骤:
步骤1502,数据提供端接收数据使用端发送的数据资源授权请求;数据资源授权请求中携带目标数据资源描述信息;目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的;至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口。
其中,数据资源授权请求是用于申请对数据资源进行使用授权的请求。
具体地,数据使用端可基于目标数据资源描述信息,生成携带目标数据资源描述信息的数据资源授权请求。数据使用端可基于与数据使用端本地隐私计算组件相匹配的计算组件接口,将数据资源授权请求发送至融合计算平台。融合计算平台可基于与数据提供端本地的隐私计算组件相匹配的计算组件接口,将数据资源授权请求发送至数据提供端。数据提供端可接收数据资源授权请求。
步骤1504,响应于数据资源授权请求,显示针对目标数据资源的授权审核界面;目标数据资源是目标数据资源描述信息所描述的数据资源。
其中,授权审核界面是数据提供端的、且用于对针对目标数据资源进行使用权限审核的界面。
具体地,数据提供方可触发数据资源授权请求,数据提供端可响应于数据资源授权请求,显示针对目标数据资源的授权审核界面。
在一个实施例中,目标数据资源是在待创建的数据使用合约中指定的;数据资源授权请求对应的授权申请操作是针对数据使用合约的合约创建审核操作。
在一个实施例中,如图16所示,数据提供端的授权审核界面中可显示待审核的合约基础信息、合约创建审核状态和合约审核意见信息等。合约基础信息可包括合约名称、合约类型、合约创建时间、预计合约使用期限、预计合约调用次数和合约应用场景备注内容等信息。数据提供方可基于授权审核界面对合约创建进行审核。在同意该合约创建申请之后,通过点击授权审核界面的“配置数据资源”,可触发对相关的数据资源进行映射配置。
步骤1506,响应于在授权审核界面中针对目标数据资源的授权操作,显示针对目标数据资源的资源配置界面。
其中,授权操作是用于对目标数据资源进行使用权限授权的操作。资源配置界面是数据使用端可、且用于对目标数据资源进行映射配置操作的界面。映射配置操作,是建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系的操作。
具体地,数据提供方可在授权审核界面中触发针对目标数据资源的授权操作,数据提供端可响应于在授权审核界面中针对目标数据资源的授权操作,显示针对目标数据资源的资源配置界面。
步骤1508,响应于在资源配置界面中针对目标数据资源的映射配置操作,建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系;其中,映射关系建立后,用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。
具体地,数据提供方可在资源配置界面中针对目标数据资源的映射配置操作,数据提供端可响应于在资源配置界面中针对目标数据资源的映射配置操作,建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系。可以理解,映射关系建立之后,表明数据提供方已经同意相应的数据使用方使用数据提供端的数据资源进行相应的数据联合计算。
在一个实施例中,如图17所示,在同意该合约创建申请之后,通过点击图16中的授权审核界面的“配置数据资源”,可触发显示数据提供端的资源配置界面,并基于数据提供端的资源配置界面对相关的数据资源进行映射配置。具体地,资源配置界面中可显示数据资源描述信息的名称、数据资源所属的领域、以及数据资源的详细描述信息等。映射配置具体可包括限定数据资源接入至融合计算平台的方式、建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系、编辑数据资源的简介信息、以及对数据资源进行字段配置等。
上述跨平台的数据处理方法中,通过数据提供端接收数据使用端发送的数据资源授权请求,数据资源授权请求中携带目标数据资源描述信息,目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的,至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源,融合计算平台是兼容至少两种隐私计算组件的标准化平台,每种隐私计算组件具有相应的计算组件接口。通过响应于数据资源授权请求,可以显示针对目标数据资源的授权审核界面,目标数据资源是目标数据资源描述信息所描述的数据资源。通过响应于在授权审核界面中针对目标数据资源的授权操作,可以显示针对目标数据资源的资源配置界面,通过响应于在资源配置界面中针对目标数据资源的映射配置操作,可以建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系。其中,映射关系建立后,用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端可以分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
在一个实施例中,在数据提供端接收数据使用端发送的数据资源授权请求之前,方法还包括:响应于针对数据提供端中待发布的数据资源的基础信息配置操作,生成待发布的数据资源的数据资源描述信息;响应于资源发布操作,触发将待发布的数据资源发布至融合计算平台;发布后的数据资源的数据资源描述信息,用于在数据使用端的数据资源选择界面上进行显示。
其中,基础信息配置操作,是用于对待发布的数据资源进行相应的基础信息配置的操作。资源发布操作是用于将待发布的数据资源发布至融合计算平台的操作。
具体地,数据提供方可触发针对数据提供端中待发布的数据资源的基础信息配置操作,数据提供端可响应于针对数据提供端中待发布的数据资源的基础信息配置操作,生成待发布的数据资源的数据资源描述信息。数据提供方可触发资源发布操作,数据提供端可响应于资源发布操作,触发将待发布的数据资源发布至融合计算平台。
在一个实施例中,响应于针对数据提供端中待发布的数据资源的基础信息配置操作,具体可对数据资源的数据提供方的信息、数据资源的所属领域信息、数据资源的开放条件信息、数据资源的数据集描述信息、数据资源的格式信息、数据资源的类型信息、数据资源的更新频率等中的至少一种信息进行配置。
在一个实施例中,如图18所示,数据提供方可在数据资源的基础信息配置界面上,编辑待发布的数据资源的基础信息,包括数据提供方信息、数据资源描述信息名称、数据资源所属行业分类、数据资源更新频率、数据资源所属领域等基础信息。基础信息编辑完成之后,数据提供端可生成待发布的数据资源的数据资源描述信息,并将数据资源的数据资源描述信息发布至融合计算平台。
上述实施例中,通过获取待发布的数据资源的数据资源描述信息,并触发将待发布的数据资源发布至融合计算平台,以使得数据使用端可选择相应的数据资源进行数据联合处理,解决了数据孤岛和平台孤岛问题,提升数据使用端的业务处理的准确性。
在一个实施例中,方法还包括:响应于数据使用端发送的针对虚拟共有业务模型的模型调用配置审核请求,显示调用配置审核界面;调用配置审核界面中显示有待审核的、且针对虚拟共有业务模型配置的模型调用约束信息;响应于调用配置同意操作,对模型调用约束信息进行授权;授权的模型调用约束信息,用于约束数据使用端对虚拟共有业务模型的调用。
其中,模型调用配置审核请求,是用于对模型调用约束信息进行审核的请求。调用配置审核界面,是数据提供端的、且用于对模型调用约束信息进行审核的界面。调用配置同意操作,是用于通过对模型调用约束信息进行授权的操作。
具体地,数据使用端可生成针对虚拟共有业务模型的模型调用配置审核请求,并基于与数据使用端本地的隐私计算组件相匹配的计算组件接口,将模型调用配置审核请求发送至融合计算平台。融合计算平台可基于与数据提供端本地的隐私计算组件相匹配的计算组件接口,将模型调用配置审核请求转发至数据提供端。数据提供端可响应于模型调用配置审核请求,显示调用配置审核界面。调用配置审核界面中显示有待审核的、且针对虚拟共有业务模型配置的模型调用约束信息。数据提供方可触发调用配置同意操作,数据提供端可响应于调用配置同意操作,对模型调用约束信息进行授权。授权的模型调用约束信息,用于约束数据使用端对虚拟共有业务模型的调用。
在一个实施例中,目标数据资源是在待创建的数据使用合约中指定的;数据资源授权请求对应的授权申请操作,是针对数据使用合约的合约创建审核操作。模型调用配置审核请求对应的模型调用配置操作,是针对待发布的数据使用合约的合约发布配置审核请求。
在一个实施例中,如图19所示,数据提供端的调用配置审核界面可显示待发布的合约的基本信息、数据资源信息描述信息和相关算法信息等。待发布的合约的基本信息具体包括合约名称、合约类型、项目名称和描述信息等。数据提供端可基于调用配置审核界面编辑对待发布的合约进行发布审核、以及基于调用配置审核界面编辑针对待发布的合约的审核理由。
上述实施例中,通过调用配置同意操作对模型调用约束信息进行授权,从而可以约束数据使用端对虚拟共有业务模型的调用,进一步提升数据提供端本地数据的安全性。
在一个实施例中,如图20所示,提供了一种跨平台的数据处理方法,本实施例以该方法应用于管理图1中融合计算平台106的平台运营端为例进行说明,包括以下步骤:
步骤2002,响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示数据提供端提供的数据资源的数据资源描述信息。
其中,数据资源发布请求,是用于将数据提供方的数据资源发布至融合计算平台的请求。平台运营端是负责运营融合计算平台的终端。资源发布审核界面,是用于审核数据提供端提供的数据资源的界面。
具体地,数据提供端可生成数据资源发布请求,并通过与数据提供端本地的隐私计算组件相匹配的计算组件接口,将数据资源发布请求发送至融合计算平台。负责运营融合计算平台的平台运营端可响应于数据提供端发送的数据资源发布请求,在资源发布审核界面显示数据提供端提供的数据资源的数据资源描述信息。
步骤2004,根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。
其中,资源审核通过操作,是用于对数据提供端的数据资源进行授权发布的操作。
具体地,平台运营方可触发作用于所显示的数据资源描述信息的资源审核通过操作,平台运营端可根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台。可以理解,发布至融合计算平台的数据资源,该数据资源对应的数据资源描述信息可显示与属于数据使用端的数据资源选择界面,以供数据使用方对数据资源的选择。
在一个实施例中,目标数据资源是在待创建的数据使用合约中指定的;针对目标数据资源的授权申请操作是针对数据使用合约的合约创建审核操作。
在一个实施例中,如图21所示,平台运营端的资源发布审核界面上可显示待审核数据资源的数量、已发布数据资源的数量、数据资源总量和已发布数据的数量、以及各个数据资源的发布审核详情列表。数据资源的发布审核详情列表可包括数据资源名称、数据资源所属领域、发布状态、审核状态、发布时间和数据资源的更新时间等信息。数据提供方将数据资源发布至融合计算平台之后,融合计算平台可基于资源发布审核界面,对相关的数据资源进行发布审核,审核通过后,相关数据资源的数据资源描述信息可用于显示于数据使用端的数据资源选择界面上。
上述跨平台的数据处理方法中,通过响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示数据提供端提供的数据资源的数据资源描述信息。通过根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口。其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
如图22所示,在一个实施例中,提供了一种跨平台的数据处理方法,本实施例以该方法应用于图1中的数据使用端102为例进行说明,该方法具体包括以下步骤:
步骤2202,在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息;数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;数据使用端与第一计算组件接口匹配;目标数据提供端与第二计算组件接口匹配。
步骤2204,响应于数据资源选定操作,从至少一条数据资源描述信息中确定选定的目标数据资源描述信息;目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供;目标数据资源包括目标数据提供端所提供的提供端样本数据;数据使用端和目标数据提供端各自本地中皆有待训练的同一业务模型。
步骤2206,响应于授权申请操作,触发针对目标数据资源进行授权。
步骤2208,在目标数据资源被授权使用后,响应于针对待配置的业务模型的模型配置操作,对待配置的业务模型进行模型训练配置,得到配置的待训练的业务模型和配置的待训练的业务模型的样本相关信息。
步骤2210,响应模型训练触发操作,基于样本相关信息对应的使用端样本数据训练数据使用端中的业务模型,使用融合计算平台基于第一计算组件接口下发的第一公钥,对模型训练中的中间结果加密,得到第一中间特征。
步骤2212,基于第一计算组件接口将第一中间特征发送至融合计算平台,使得融合计算平台基于第二计算组件接口将第一中间特征转发至目标数据提供端,以指示目标数据提供端基于第一中间特征和第二中间特征训练目标数据提供端中的业务模型;第二中间特征,是目标数据提供端基于融合计算平台下发的第二公钥,对使用样本相关信息对应的目标数据资源训练业务模型时产生的中间结果加密得到。
步骤2214,基于第一计算组件接口接收融合计算平台发送的第二中间特征,并基于第二中间特征和第一中间特征继续训练数据使用端中的业务模型,得到加密调整参数。
步骤2216,基于第一计算组件接口上传加密调整参数至融合计算平台以及获取对加密调整参数解密后的调整参数。
步骤2218,基于调整参数更新数据使用端中的业务模型,在训练完毕后得到数据使用端的第一业务模型;第一业务模型和目标数据提供端训练得到的第二业务模型构成联合训练的虚拟共有业务模型。
步骤2220,在业务模型训练完成得到虚拟共有业务模型后,显示数据使用端的模型调用配置界面。
步骤2222,响应于在模型调用配置界面上的模型调用配置操作,获取针对虚拟共有业务模型配置的模型调用约束信息;模型调用约束信息,用于约束数据使用端对虚拟共有业务模型的调用。
步骤2224,显示数据使用端的模型部署配置界面。
步骤2226,响应于在模型部署配置界面上的模型部署触发操作,触发针对虚拟共有业务模型进行模型部署配置;已部署配置的虚拟共有业务模型,用于对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果;目标在线数据,是目标数据提供端提供的在线数据。
在一个实施例中,如图23所示,本申请的融合计算平台可支持基于各种隐私计算组件构建的各个平台的接入。从图23中可知,接入融合计算平台的数据资源可包括参与数据交叉计算的各个平台(即,平台1至平台6)的数据资源。各个平台的数据资源通过融合计算平台进行相应的隐私计算和公共计算之后,可供多种业务(即,业务1至业务7)的使用,从而满足各种应用场景(即,应用1至应用4)。
在一个实施例中,如图24所示,融合计算平台的总体架构可包括云与基础设施层、数据管理层、可信计算与存证层、运营管理层和应用层这五个层。云与基础设施层主要包括各种云基础设施,比如云服务器、网络、存储、集群管理和自动化运维等。数据管理层主要包括数据接入管理和数据资源管理等。可信计算与存证层主要包括管理控制中心、隐私计算组件、区块链控制平台和区块链引擎等。其中,管理控制中心主要负责任务管理、逻辑配置、流程调度、策略管理和性能控制等功能。隐私计算组件主要包括多方安全计算组件、以及联邦学习算法组件等。区块链控制平台主要负责联盟管理、统一接口、合约管理、链条管理和网络管理等功能。区块链引擎主要包括各种热门的区块链引擎。运营管理层可包括报表中心、综合管理、合约管理、算法池管理、日志存证和运维管理等。其中,报表中心主要包括计费规则、交易中心和账单中心等。综合管理主要包括资质管理、审核管理和路由管理等。算法池管理主要包括算法展示、算法发布和算法运营等。日志存证主要包括存证记录、存证鉴权和日志管理等。运维管理主要包括系统管理、用户管理、系统监测和接口引擎等。应用层主要包括数据使用方、数据提供方和平台运营方这三种角色的应用。
在一个实施例中,如图25所示,融合计算平台的管理控制中心的架构主要包括模型应用调度和隐私计算管控。模型应用调度主要包括应用管理、应用配置逻辑、处理逻辑配置、条件逻辑配置、调度节点配置、流程调度配置、多策略管理配置、时间模板和系统配置等。隐私计算管控主要包括性能监测、统计分析和隐私计算组件对接等。其中,性能监测主要包括引擎预警、路由预警、策略预警、预警查询、可视化展示和监测配置等。统计分析主要包括统计配置、统计结果查看、统计结果查询和统计结果导出等。隐私计算组件对接主要包括任务对接、数据资源对接、计算资源对接、任务结构对接、业务监测对接和统计报表对接等。
在一个实施例中,如图26所示,数据提供方可基于数据提供端通过数据资源描述信息,基于隐私计算组件的数据接入配置功能,将数据资源发布至融合计算平台。数据资源发布至融合计算平台之后,数据使用方基于数据使用端可看见数据资源描述信息。进而,数据使用方可编辑合约信息和选择数据资源,以创建数据使用合约。数据使用方发起合约创建申请之后,由数据提供方和平台运营方对数据使用合约的创建申请进行审核,待数据提供方和平台运营方对数据使用合约的审核通过之后,表示数据已经拉通,数据使用方可有权使用数据提供方提供的相关数据资源。进而,数据使用方可基于相关数据资源对数据使用合约进行配置,配置过程中涉及的业务模型训练,可跳转至数据提供端和数据使用端分别对应的隐私计算组件,比如,联邦学习算法组件和多方安全计算组件等,进行相应的模型联合训练,得到已训练的业务模型,即虚拟共有业务模型。进而,数据使用方可对数据使用合约进行合约发布配置,即配置合约的调用次数和合约的使用期限等模型调用约束信息。模型调用约束信息配置完成之后,数据使用方可发起对数据使用合约的发布申请。数据提供方和平台运营方可分别对发布的合约进行发布审核。若数据提供方和平台运营方均审核通过,则数据使用方可对已发布的合约进行合约部署管理,其中,合约部署可通过平台管理控制中心的算法逻辑实现。若合约配置已完成,则数据使用方可通过外部调用实现对已部署的合约进行调用,以使得平台管理控制中心基于相应的隐私计算组件执行数据使用合约,即调用虚拟共有业务模型对数据使用端本地的线上数据和数据提供端本地的线上数据进行数据联合预测,得到供数据使用方在业务处理时使用的在线预测结果。若合约调用不再满足模型调用约束信息,即合约调用次数用尽或合约调用期限已到期,则融合计算平台的平台管理控制中心会拒绝合约的执行。
在一个实施例中,如图27所示,融合计算平台的数据资源描述信息管理流程主要包括数据资源发布、数据资源变更和数据资源下架。针对数据资源发布,数据提供方可基于数据提供端入驻融合计算平台,入驻登录成功之后,数据提供方可提交审核材料,平台运营方可对审核材料进行审核。若审核通过,则数据使用方可称为融合计算平台的合作方。成为融合计算平台的合作方之后,数据提供方可向平台运营方发送数据接入申请,同时基于数据资源描述信息提供样本数据和数据接口文档。平台运营方可对数据接入申请进行审核,审核通过之后,数据资源描述信息对应的数据资源可发布至融合计算平台上,以供数据使用方查看和使用。针对数据资源变更,数据提供方可向平台运营方发送数据变更申请,同时基于变更后的数据资源描述信息提供变更后的样本数据和数据接口文档。平台运营方可对数据变更申请进行审核,审核通过之后,变更后的数据资源描述信息对应的数据资源可发布至融合计算平台上,以提醒数据使用方基于更新后的数据资源描述信息对应的数据资源进行模型再训练。针对数据资源下架,数据提供方可向平台运营方发送数据下架申请。平台运营方可对数据下架申请进行审核,审核通过之后,融合计算平台可删除已发布的数据资源描述信息,同时删除相应的计算组件接口。计算组件接口删除完成之后,通知数据使用方数据资源已更新,以提醒数据使用方基于更新后的数据资源描述信息对应的数据资源进行模型再训练。
在一个实施例中,如图28所示,融合计算平台的数据架构包括接入至融合计算平台的各个平台(即,平台1至平台5)的资源数据。各个平台的数据资源通过融合计算平台进行相应的隐私计算和公共计算之后,可供多种类型(即,业务分类1至业务分类3)的业务使用(即业务1至业务4),从而满足各种业务场景。
在一个实施例中,融合计算平台可支持基于各种隐私计算组件构建的平台的资源数据接入。融合计算平台通过对应的业务服务客户端可部署至接入的各个平台中。举例说明,如图29所示,融合计算平台可部署至接入的平台A上。平台A业务网于互联网之间通过防火墙设置有安全隔离区,安全隔离区中包括引导服务器和接入服务器。业务服务客户端可通过互联网、基于引导服务器可接入服务器对平台A业务网进行访问,并通过业务网关连接融合计算平台和平台A的业务平台,其中,平台A的业务平台包括平台A业务网和平台A核心内网。平台A业务网中包括隐私计算服务集群、运营管理中心、管理控制中心、区块链服务平台、隐私计算接入、邮件和中间件服务和业务网关等。隐私计算服务集群包括联邦学习计算服务集群和多方安全计算服务集群。平台A核心内网包括业务网关和内网存储服务等。
本申请还提供一种应用场景,该应用场景应用上述的跨平台的数据处理方法。具体地,该跨平台的数据处理方法可应用于异构平台之间的数据交叉计算的场景,即,构建数据使用端对应的平台的隐私计算组件与构建数据提供端对应的平台的隐私计算组件是不同的。数据使用端可在数据资源选择界面上显示至少一条数据资源描述信息;数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;数据使用端与第一隐私计算组件的第一计算组件接口匹配;目标数据提供端与第二隐私计算组件的第二计算组件接口匹配,其中,第一隐私计算组件和第二隐私计算组件是两种不同的隐私计算组件。响应于数据资源选定操作,从至少一条数据资源描述信息中确定选定的目标数据资源描述信息;目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供;目标数据资源包括目标数据提供端所提供的提供端样本数据;数据使用端和目标数据提供端各自本地中皆有待训练的同一业务模型。响应于授权申请操作,触发针对目标数据资源进行授权。
在目标数据资源被授权使用后,数据使用端可响应于针对待配置的业务模型的模型配置操作,对待配置的业务模型进行模型训练配置,得到配置的待训练的业务模型和配置的待训练的业务模型的样本相关信息。响应模型训练触发操作,基于样本相关信息对应的使用端样本数据训练数据使用端中的业务模型,使用融合计算平台基于第一计算组件接口下发的第一公钥,对模型训练中的中间结果加密,得到第一中间特征。基于第一计算组件接口将第一中间特征发送至融合计算平台,使得融合计算平台基于第二计算组件接口将第一中间特征转发至目标数据提供端,以指示目标数据提供端基于第一中间特征和第二中间特征训练目标数据提供端中的业务模型;第二中间特征,是目标数据提供端基于融合计算平台下发的第二公钥,对使用样本相关信息对应的目标数据资源训练业务模型时产生的中间结果加密得到。基于第一计算组件接口接收融合计算平台发送的第二中间特征,并基于第二中间特征和第一中间特征继续训练数据使用端中的业务模型,得到加密调整参数。基于第一计算组件接口上传加密调整参数至融合计算平台以及获取对加密调整参数解密后的调整参数。基于调整参数更新数据使用端中的业务模型,在训练完毕后得到数据使用端的第一业务模型;第一业务模型和目标数据提供端训练得到的第二业务模型构成联合训练的虚拟共有业务模型。
在业务模型训练完成得到虚拟共有业务模型后,数据使用端可显示数据使用端的模型调用配置界面。响应于在模型调用配置界面上的模型调用配置操作,获取针对虚拟共有业务模型配置的模型调用约束信息;模型调用约束信息,用于约束数据使用端对虚拟共有业务模型的调用。
数据使用端可显示数据使用端的模型部署配置界面。响应于在模型部署配置界面上的模型部署触发操作,触发针对虚拟共有业务模型进行模型部署配置;已部署配置的虚拟共有业务模型,用于对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果;目标在线数据,是目标数据提供端提供的在线数据。实现了基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
本申请还另外提供一种应用场景,该应用场景应用上述的跨平台的数据处理方法。具体地,该跨平台的数据处理方法可应用于同构平台之间的数据交叉计算的场景,即,构建数据使用端对应的平台的隐私计算组件与构建数据提供端对应的平台的隐私计算组件是相同的。使用本申请的跨平台的数据处理方法,通过融合计算平台中的、且与数据使用端和数据提供端对应的隐私计算组件相匹配的同一计算组件接口,实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算。
应该理解的是,虽然上述各实施例的流程图中的各个步骤按照顺序依次显示,但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图30所示,提供了一种跨平台的数据处理装置3000,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:
第一显示模块3002,用于在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息;数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
确定模块3004,用于响应于数据资源选定操作,从至少一条数据资源描述信息中确定选定的目标数据资源描述信息;目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供;
第一触发模块3004,用于响应于授权申请操作,触发针对目标数据资源进行授权;其中,目标数据资源被授权使用后,用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据使用端和目标数据提供端分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。
在一个实施例中,在目标数据资源被授权使用后,第一触发模块3004还用于响应于模型训练触发操作,以触发数据使用端基于使用端样本数据以及目标数据提供端使用目标数据资源来联合训练待训练的业务模型。
在一个实施例中,数据使用端与第一计算组件接口匹配;目标数据提供端与第二计算组件接口匹配;数据使用端和目标数据提供端各自本地中皆有待训练的同一业务模型;第一触发模块3004还用于响应模型训练触发操作,基于使用端样本数据训练数据使用端中的业务模型,使用融合计算平台基于第一计算组件接口下发的第一公钥,对模型训练中的中间结果加密,得到第一中间特征;基于第一计算组件接口将第一中间特征发送至融合计算平台,使得融合计算平台基于第二计算组件接口将第一中间特征转发至目标数据提供端,以指示目标数据提供端基于第一中间特征和第二中间特征训练目标数据提供端中的业务模型;第二中间特征,是目标数据提供端基于融合计算平台下发的第二公钥,对使用目标数据资源训练业务模型时产生的中间结果加密得到;基于第一计算组件接口接收融合计算平台发送的第二中间特征,并基于第二中间特征和第一中间特征继续训练数据使用端中的业务模型,得到加密调整参数;基于第一计算组件接口上传加密调整参数至融合计算平台以及获取对加密调整参数解密后的调整参数;基于调整参数更新数据使用端中的业务模型,在训练完毕后得到数据使用端的第一业务模型;第一业务模型和目标数据提供端训练得到的第二业务模型构成联合训练的虚拟共有业务模型。
在一个实施例中,第一显示模块3002还用于在隐私计算组件选择界面上显示至少两种隐私计算组件的组件标识;响应于组件选定操作,确定选定的目标组件标识;第一触发模块3004还用于响应于授权申请操作,触发针对目标组件标识对应的目标隐私计算组件和目标数据资源进行授权;其中,目标隐私计算组件被授权使用后,用于指示数据使用端通过目标隐私计算组件相应的计算组件接口与融合计算平台进行通信。
在一个实施例中,目标组件标识和目标数据资源是在待创建的数据使用合约中指定的;授权申请操作是针对数据使用合约的合约创建审核操作;第一触发模块3004还用于响应于合约创建审核操作,触发融合计算平台和数据提供端分别对数据使用合约进行创建审核处理;审核通过的数据使用合约中指定的目标隐私计算组件和目标数据资源也通过使用授权。
在一个实施例中,目标数据资源包括目标数据提供端所提供的提供端样本数据;第一触发模块3004还用于在目标数据资源被授权使用后,响应于针对待配置的业务模型的模型配置操作,对待配置的业务模型进行模型训练配置,得到配置的待训练的业务模型和配置的待训练的业务模型的样本相关信息;响应于针对待训练的业务模型的模型训练触发操作,触发基于样本相关信息对应的使用端样本数据和提供端样本数据来联合训练待训练的业务模型。
在一个实施例中,第一显示模块3002还用于在业务模型训练完成得到虚拟共有业务模型后,显示数据使用端的模型调用配置界面;响应于在模型调用配置界面上的模型调用配置操作,获取针对虚拟共有业务模型配置的模型调用约束信息;模型调用约束信息,用于约束数据使用端对虚拟共有业务模型的调用。
在一个实施例中,第一显示模块3002还用于在业务模型训练完成得到虚拟共有业务模型后,显示数据使用端的模型部署配置界面;响应于在模型部署配置界面上的模型部署触发操作,触发针对虚拟共有业务模型进行模型部署配置;已部署配置的虚拟共有业务模型,用于对数据使用端的在线数据和目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供数据使用端在业务处理时使用的在线预测结果;目标在线数据,是目标数据提供端提供的在线数据。
上述跨平台的数据处理装置,通过在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息,数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源,融合计算平台是兼容至少两种隐私计算组件的标准化平台,每种隐私计算组件具有相应的计算组件接口。通过响应于数据资源选定操作,可以从至少一条数据资源描述信息中确定选定的目标数据资源描述信息,目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供。响应于授权申请操作,可触发针对目标数据资源进行授权。其中,目标数据资源被授权使用后,可以用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据使用端和目标数据提供端可以分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
在一个实施例中,如图31所示,提供了一种跨平台的数据处理装置3100,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:
接收模块3102,用于数据提供端接收数据使用端发送的数据资源授权请求;数据资源授权请求中携带目标数据资源描述信息;目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的;至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
第二显示模块3104,用于响应于数据资源授权请求,显示针对目标数据资源的授权审核界面;目标数据资源是目标数据资源描述信息所描述的数据资源;响应于在授权审核界面中针对目标数据资源的授权操作,显示针对目标数据资源的资源配置界面;
建立模块3106,用于响应于在资源配置界面中针对目标数据资源的映射配置操作,建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系;其中,映射关系建立后,用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。第四方面,本申请提供了一种跨平台的数据处理装置,装置包括:
在一个实施例中,数据处理装置3100还包括:生成模块,用于响应于针对数据提供端中待发布的数据资源的基础信息配置操作,生成待发布的数据资源的数据资源描述信息;响应于资源发布操作,触发将待发布的数据资源发布至融合计算平台;发布后的数据资源的数据资源描述信息,用于在数据使用端的数据资源选择界面上进行显示。
在一个实施例中,第二显示模块3104还用于响应于数据使用端发送的针对虚拟共有业务模型的模型调用配置审核请求,显示调用配置审核界面;调用配置审核界面中显示有待审核的、且针对虚拟共有业务模型配置的模型调用约束信息;响应于调用配置同意操作,对模型调用约束信息进行授权;授权的模型调用约束信息,用于约束数据使用端对虚拟共有业务模型的调用。
上述跨平台的数据处理装置,通过数据提供端接收数据使用端发送的数据资源授权请求,数据资源授权请求中携带目标数据资源描述信息,目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的,至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源,融合计算平台是兼容至少两种隐私计算组件的标准化平台,每种隐私计算组件具有相应的计算组件接口。通过响应于数据资源授权请求,可以显示针对目标数据资源的授权审核界面,目标数据资源是目标数据资源描述信息所描述的数据资源。通过响应于在授权审核界面中针对目标数据资源的授权操作,可以显示针对目标数据资源的资源配置界面,通过响应于在资源配置界面中针对目标数据资源的映射配置操作,可以建立目标数据资源描述信息与数据提供端本地的目标数据资源之间的映射关系。其中,映射关系建立后,用于指示基于数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端可以分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
在一个实施例中,如图32所示,提供了一种跨平台的数据处理装置3200,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:
第三显示模块3202,用于响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示数据提供端提供的数据资源的数据资源描述信息;
第二触发模块3204,用于根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。
上述跨平台的数据处理装置,通过响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示数据提供端提供的数据资源的数据资源描述信息。通过根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口。其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用数据使用端的使用端样本数据和目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,数据提供端和数据使用端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信。相较于传统的数据处理方法,本申请通过设计兼容至少两种隐私计算组件的融合计算平台,在数据交互过程中,数据使用端和目标数据提供端可分别基于与各自相匹配的计算组件接口与融合计算平台进行通信,从而在实现在支持基于相同隐私计算组件所构建的各个平台之间进行数据的交叉计算的同时,也可支持基于不同隐私计算组件所构建的各个平台之间进行数据的交叉计算,可以满足更多业务场景的需求。
上述跨平台的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图33所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种跨平台的数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图33中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (18)
1.一种跨平台的数据处理方法,其特征在于,所述方法包括:
在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息;所述数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
响应于数据资源选定操作,从所述至少一条数据资源描述信息中确定选定的目标数据资源描述信息;所述目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供;
响应于授权申请操作,触发针对所述目标数据资源进行授权;其中,所述目标数据资源被授权使用后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据使用端和所述目标数据提供端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
2.根据权利要求1所述的方法,其特征在于,在所述目标数据资源被授权使用后,所述方法还包括:
响应于模型训练触发操作,以触发所述数据使用端基于所述使用端样本数据以及所述目标数据提供端使用所述目标数据资源来联合训练待训练的业务模型。
3.根据权利要求2所述的方法,其特征在于,所述数据使用端与第一计算组件接口匹配;所述目标数据提供端与第二计算组件接口匹配;所述数据使用端和所述目标数据提供端各自本地中皆有待训练的同一业务模型;
所述响应于模型训练触发操作,以触发所述数据使用端基于所述使用端样本数据以及所述目标数据提供端使用所述目标数据资源来联合训练待训练的业务模型,包括:
响应模型训练触发操作,基于所述使用端样本数据训练所述数据使用端中的业务模型,使用所述融合计算平台基于所述第一计算组件接口下发的第一公钥,对模型训练中的中间结果加密,得到第一中间特征;
基于第一计算组件接口将所述第一中间特征发送至所述融合计算平台,使得所述融合计算平台基于所述第二计算组件接口将所述第一中间特征转发至所述目标数据提供端,以指示所述目标数据提供端基于所述第一中间特征和第二中间特征训练所述目标数据提供端中的业务模型;所述第二中间特征,是所述目标数据提供端基于融合计算平台下发的第二公钥,对使用所述目标数据资源训练业务模型时产生的中间结果加密得到;
基于所述第一计算组件接口接收所述融合计算平台发送的所述第二中间特征,并基于所述第二中间特征和第一中间特征继续训练所述数据使用端中的业务模型,得到加密调整参数;
基于第一计算组件接口上传所述加密调整参数至所述融合计算平台以及获取对所述加密调整参数解密后的调整参数;
基于所述调整参数更新数据使用端中的业务模型,在训练完毕后得到数据使用端的第一业务模型;所述第一业务模型和所述目标数据提供端训练得到的第二业务模型构成联合训练的虚拟共有业务模型。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在隐私计算组件选择界面上显示至少两种隐私计算组件的组件标识;
响应于组件选定操作,确定选定的目标组件标识;
所述响应于授权申请操作,触发针对所述目标数据资源进行授权,包括:
响应于授权申请操作,触发针对目标组件标识对应的目标隐私计算组件和所述目标数据资源进行授权;其中,所述目标隐私计算组件被授权使用后,用于指示所述数据使用端通过所述目标隐私计算组件相应的计算组件接口与所述融合计算平台进行通信。
5.根据权利要求4所述的方法,其特征在于,所述目标组件标识和所述目标数据资源是在待创建的数据使用合约中指定的;所述授权申请操作是针对所述数据使用合约的合约创建审核操作;
所述响应于授权申请操作,触发针对目标组件标识对应的目标隐私计算组件和所述目标数据资源进行授权,包括:
响应于合约创建审核操作,触发所述融合计算平台和所述数据提供端分别对所述数据使用合约进行创建审核处理;审核通过的数据使用合约中指定的目标隐私计算组件和所述目标数据资源也通过使用授权。
6.根据权利要求1所述的方法,其特征在于,所述目标数据资源包括所述目标数据提供端所提供的提供端样本数据;所述方法还包括:
在所述目标数据资源被授权使用后,响应于针对待配置的业务模型的模型配置操作,对所述待配置的业务模型进行模型训练配置,得到配置的待训练的业务模型和配置的所述待训练的业务模型的样本相关信息;
响应于针对所述待训练的业务模型的模型训练触发操作,触发基于所述样本相关信息对应的使用端样本数据和所述提供端样本数据来联合训练所述待训练的业务模型。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在业务模型训练完成得到虚拟共有业务模型后,显示所述数据使用端的模型调用配置界面;
响应于在所述模型调用配置界面上的模型调用配置操作,获取针对所述虚拟共有业务模型配置的模型调用约束信息;所述模型调用约束信息,用于约束所述数据使用端对所述虚拟共有业务模型的调用。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:
在业务模型训练完成得到虚拟共有业务模型后,显示所述数据使用端的模型部署配置界面;
响应于在所述模型部署配置界面上的模型部署触发操作,触发针对所述虚拟共有业务模型进行模型部署配置;已部署配置的虚拟共有业务模型,用于对所述数据使用端的在线数据和所述目标数据资源所对应的目标在线数据进行数据联合预测,得到用于供所述数据使用端在业务处理时使用的在线预测结果;所述目标在线数据,是所述目标数据提供端提供的在线数据。
9.一种跨平台的数据处理方法,其特征在于,所述方法包括:
数据提供端接收数据使用端发送的数据资源授权请求;所述数据资源授权请求中携带目标数据资源描述信息;所述目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的;所述至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
响应于所述数据资源授权请求,显示针对目标数据资源的授权审核界面;所述目标数据资源是所述目标数据资源描述信息所描述的数据资源;
响应于在所述授权审核界面中针对所述目标数据资源的授权操作,显示针对所述目标数据资源的资源配置界面;
响应于在所述资源配置界面中针对所述目标数据资源的映射配置操作,建立所述目标数据资源描述信息与数据提供端本地的所述目标数据资源之间的映射关系;其中,映射关系建立后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
10.根据权利要求9所述的方法,其特征在于,在所述数据提供端接收数据使用端发送的数据资源授权请求之前,所述方法还包括:
响应于针对数据提供端中待发布的数据资源的基础信息配置操作,生成待发布的数据资源的数据资源描述信息;
响应于资源发布操作,触发将所述待发布的数据资源发布至所述融合计算平台;发布后的数据资源的数据资源描述信息,用于在所述数据使用端的数据资源选择界面上进行显示。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括:
响应于数据使用端发送的针对虚拟共有业务模型的模型调用配置审核请求,显示调用配置审核界面;所述调用配置审核界面中显示有待审核的、且针对所述虚拟共有业务模型配置的模型调用约束信息;
响应于调用配置同意操作,对所述模型调用约束信息进行授权;授权的模型调用约束信息,用于约束所述数据使用端对所述虚拟共有业务模型的调用。
12.一种跨平台的数据处理方法,其特征在于,所述方法包括:
响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示所述数据提供端提供的数据资源的数据资源描述信息;
根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在所述目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
13.一种跨平台的数据处理装置,其特征在于,所述装置包括:
第一显示模块,用于在数据使用端的数据资源选择界面上显示至少一条数据资源描述信息;所述数据资源描述信息用于描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
确定模块,用于响应于数据资源选定操作,从所述至少一条数据资源描述信息中确定选定的目标数据资源描述信息;所述目标数据资源描述信息所映射指向的目标数据资源是由目标数据提供端提供;
第一触发模块,用于响应于授权申请操作,触发针对所述目标数据资源进行授权;其中,所述目标数据资源被授权使用后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据使用端和所述目标数据提供端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
14.一种跨平台的数据处理装置,其特征在于,所述装置包括:
接收模块,用于数据提供端接收数据使用端发送的数据资源授权请求;所述数据资源授权请求中携带目标数据资源描述信息;所述目标数据资源描述信息是从数据使用端中显示的至少一条数据资源描述信息中选择得到的;所述至少一条数据资源描述信息用于分别描述数据提供端发布至融合计算平台的数据资源;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
第二显示模块,用于响应于所述数据资源授权请求,显示针对目标数据资源的授权审核界面;所述目标数据资源是所述目标数据资源描述信息所描述的数据资源;响应于在所述授权审核界面中针对所述目标数据资源的授权操作,显示针对所述目标数据资源的资源配置界面;
建立模块,用于响应于在所述资源配置界面中针对所述目标数据资源的映射配置操作,建立所述目标数据资源描述信息与数据提供端本地的所述目标数据资源之间的映射关系;其中,映射关系建立后,用于指示基于所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
15.一种跨平台的数据处理装置,其特征在于,所述装置包括:
第三显示模块,用于响应于数据提供端发送的数据资源发布请求,在平台运营端的资源发布审核界面显示所述数据提供端提供的数据资源的数据资源描述信息;
第二触发模块,用于根据作用于所显示的数据资源描述信息的资源审核通过操作,触发将审核通过后的数据资源发布至融合计算平台;所述融合计算平台是兼容至少两种隐私计算组件的标准化平台;每种隐私计算组件具有相应的计算组件接口;
其中,发布后的数据资源的数据资源描述信息用于显示于数据使用端的数据资源选择界面上,以使得数据使用端从显示的数据资源描述信息中选定目标数据资源描述信息,并指示在所述目标数据资源描述信息所映射指向的目标数据资源被授权使用后,使用所述数据使用端的使用端样本数据和所述目标数据资源来联合训练业务模型,在训练过程中涉及通信交互的情况下,所述数据提供端和所述数据使用端分别基于与各自相匹配的计算组件接口与所述融合计算平台进行通信。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
17.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
18.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210333031.3A CN116932617A (zh) | 2022-03-31 | 2022-03-31 | 跨平台的数据处理方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210333031.3A CN116932617A (zh) | 2022-03-31 | 2022-03-31 | 跨平台的数据处理方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116932617A true CN116932617A (zh) | 2023-10-24 |
Family
ID=88374175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210333031.3A Pending CN116932617A (zh) | 2022-03-31 | 2022-03-31 | 跨平台的数据处理方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116932617A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786757A (zh) * | 2024-02-26 | 2024-03-29 | 成都数据集团股份有限公司 | 一种隐私计算管理系统及方法 |
-
2022
- 2022-03-31 CN CN202210333031.3A patent/CN116932617A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786757A (zh) * | 2024-02-26 | 2024-03-29 | 成都数据集团股份有限公司 | 一种隐私计算管理系统及方法 |
CN117786757B (zh) * | 2024-02-26 | 2024-04-30 | 成都数据集团股份有限公司 | 一种隐私计算管理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11223477B2 (en) | Data sharing method, client, server, computing device, and storage medium | |
CN113711536B (zh) | 从区块链网络中提取数据 | |
US10764254B2 (en) | Systems and methods of secure data exchange | |
WO2023077794A1 (zh) | 区块链访问权限控制方法和系统、设备、程序及介质 | |
CN111985000B (zh) | 模型服务输出方法、装置、设备及存储介质 | |
CN101316219A (zh) | 用于控制虚拟网络连接的虚拟网络连接装置、系统和方法 | |
WO2021159606A1 (zh) | 基于区块链的组织节点上链方法和系统 | |
WO2023005838A1 (zh) | 数据共享方法和电子设备 | |
CN107294955B (zh) | 电子文件加密中间件管控系统及方法 | |
TWI829219B (zh) | 可將取用訊標由區塊鏈子系統移轉給資料請求者裝置的去中心化資料授權控管系統 | |
CN112600830A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
CN110719284B (zh) | 一种数据共享方法及相关设备 | |
Barati et al. | Privacy‐aware cloud ecosystems: Architecture and performance | |
US20180248891A1 (en) | Content management based on spatial and temporal information | |
CN116932617A (zh) | 跨平台的数据处理方法、装置、设备和介质 | |
US10970741B2 (en) | Method and system for integrating audience data with a social media site | |
US20220004992A1 (en) | Custom development crowdfunding marketplace | |
CN115859371A (zh) | 基于区块链的隐私计算方法、电子设备和存储介质 | |
US10853898B1 (en) | Method and apparatus for controlled messages | |
TWI829217B (zh) | 可彈性調整資料授權政策的去中心化資料授權控管系統 | |
TWI829218B (zh) | 可經由第三方服務子系統間接移轉取用訊標的去中心化資料授權控管系統 | |
Nguyen et al. | IBM MobileFirst in Action for mGovernment and Citizen Mobile Services | |
TW202240442A (zh) | 可透過第三方服務子系統轉傳訊標請求的去中心化資料授權控管系統 | |
CN114677138A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
US10616293B1 (en) | Multiple account binding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |