CN114764417B - 隐私计算、隐私数据及联邦学习的分散式处理方法及装置 - Google Patents

隐私计算、隐私数据及联邦学习的分散式处理方法及装置 Download PDF

Info

Publication number
CN114764417B
CN114764417B CN202210660615.1A CN202210660615A CN114764417B CN 114764417 B CN114764417 B CN 114764417B CN 202210660615 A CN202210660615 A CN 202210660615A CN 114764417 B CN114764417 B CN 114764417B
Authority
CN
China
Prior art keywords
task
data
local
processing mode
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210660615.1A
Other languages
English (en)
Other versions
CN114764417A (zh
Inventor
薛新江
高晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhixing Technology Co Ltd
Original Assignee
Shenzhen Zhixing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhixing Technology Co Ltd filed Critical Shenzhen Zhixing Technology Co Ltd
Priority to CN202210660615.1A priority Critical patent/CN114764417B/zh
Publication of CN114764417A publication Critical patent/CN114764417A/zh
Application granted granted Critical
Publication of CN114764417B publication Critical patent/CN114764417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Storage Device Security (AREA)
  • Multi Processors (AREA)

Abstract

本申请涉及隐私计算、隐私数据及联邦学习技术领域，具体涉及一种隐私计算、隐私数据及联邦学习的分散式处理方法及装置。方法包括：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式；根据所选择的数据处理模式分别在离线数据处理模式下或者在线数据处理模式下运行本地隐私计算框架从而执行待执行任务并获得执行结果。如此，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。

Description

隐私计算、隐私数据及联邦学习的分散式处理方法及装置
技术领域
本申请涉及隐私计算、隐私数据及联邦学习技术领域，具体涉及一种隐私计算、隐私数据及联邦学习的分散式处理方法及装置。
背景技术
隐私计算（Privacy Computing）指的是在保证数据提供方不泄露原始数据的前提下对数据进行分析计算的一系列技术，保证数据在流通和融合过程中“可用不可见”。隐私计算在通常意义上涵盖以保护数据隐私的同时实现计算任务为目的所使用的一系列广泛的技术。隐私计算结合计算机科学、人工智能以及云计算等技术的发展，在数据查询和机器学习中取得了重大进展，在诸多应用场景下提供了对数据的安全获取和对数据隐私的保护。常见的隐私计算技术包括如联邦学习（Federated Learning，FL）、安全多方计算（Secure Multi-Party Computation，SMPC）、秘密共享（Secret Sharing）、可信执行环境（Trusted Execution Environment，TEE）、差分隐私（Differential Privacy，DP）、同态加密（Homomorphic Encryption，HE）等。其中联邦学习指的是在确保数据不离开安全控制范围例如数据不传递到外部的前提下实现多方协同构建联邦学习模型。另一方面，随着对数据安全和隐私信息保护的日益重视以及《数据安全法》和《个人信息保护法》等相关法律法规的推出，隐私数据例如涉及个人信息或敏感信息的个人隐私数据等，在数据处理、数据通信、数据交互等各方面也面临更高的隐私保护和数据安全的要求。
隐私计算、隐私数据的相关处理以及联邦学习的各种应用场景通常涉及到两个或者更多个参与方之间协同进行任务例如联合建模或者联合分析等。借助于隐私计算框架或者隐私计算模型或者隐私数据相关的安全协议，例如FATE（Federated AI TechnologyEnabler）框架，可以在保护数据安全的同时实现多源数据跨域合作。其中隐私计算大体上分成数据分散式和数据集中式。数据分散式的隐私计算意味着原始数据位于各参与方自己的主机，各参与方在本地完成计算后再通过网络互相交换中间结果的密文数据。数据集中式的隐私计算意味着各参与方将原始数据的密文传输到集中计算环境例如集中式隐私计算平台，在集中计算环境完成计算后将结果返回到任务发起方。数据分散式的隐私计算的应用场景及其应用实例中，需要由各参与方在本地完成计算例如加解密运算和密态运算等，但是参与方往往只具备有限的算力、存储资源和网络通信资源且对能耗比较敏感，例如智能手机、平板电能等智能终端设备，而隐私计算的相关运算任务往往具有大数据位宽和计算密集等特点，因此如何在满足通信安全、环境安全验证、存储安全及计算安全等方面的需求同时还能兼顾数据分散式的隐私计算场景下有限的算力、存储资源和网络通信资源及能耗要求，成为了需要克服的技术难题。
为此，需要一种隐私计算、隐私数据及联邦学习的分散式处理方法及装置，不仅能够满足通信安全、环境安全验证、存储安全及计算安全等方面的需求，而且考虑到了数据分散式的隐私计算的应用场景及其应用实例中有限的算力、存储资源和网络通信资源及能耗要求。
发明内容
第一方面，本申请实施例提供了一种分散式处理方法，用于隐私计算、隐私数据及联邦学习。所述分散式处理方法包括：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果。其中，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果。其中，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。
第一方面所描述的技术方案，通过根据待执行任务的任务类型和任务要求来选择离线数据处理模式或者在线数据处理模式，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务，既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的任务要求，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述参考数据量还基于本地实时网络通信条件。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是预测任务，当所述预测任务是自动驾驶场景下的规避操作预测任务或者电商场景下的推荐操作预测任务或者金融场景下的违规行为预测任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务是多个任务中的一个任务，所述多个任务的任务类型均是预测任务，所述分散式处理方法还包括：根据所述多个任务各自的时效性要求进行排序并在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述多个任务中时效性要求排序较高的任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地ID集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地ID集，获得并导出与所述待执行任务相关联的ID集。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述数据导出模块还配置为：基于与所述待执行任务相关联的ID集，从所述第二数据仓库导出与所述待执行任务相关联的特征数据集。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是数据求交任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述数据求交任务相关联的ID集用于执行所述数据求交任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是建模任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述建模任务相关联的特征数据集用于执行所述建模任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是离线预测任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述离线预测任务相关联的特征数据集用于执行所述离线预测任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是在线预测任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述在线预测任务相关联的一个或者多个样本ID从所述第二数据仓库或者从相对于所述本地存储器的外部存储器获得与所述在线预测任务相关联的特征数据集用于执行所述在线预测任务。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是数据查询任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述数据查询任务相关联的一个或者多个样本ID查询所述第二数据仓库得到查询结果作为所述执行结果。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述本地隐私计算框架是FATE框架、PySyft框架或者SGX框架。
第二方面，本申请实施例提供了一种非瞬时性计算机可读存储介质。所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据第一方面中任一项所述的分散式处理方法。
第二方面所描述的技术方案，通过根据待执行任务的任务类型和任务要求来选择离线数据处理模式或者在线数据处理模式，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务，既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的任务要求，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。
第三方面，本申请实施例提供了一种电子设备。所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据第一方面中任一项所述的分散式处理方法。
第三方面所描述的技术方案，通过根据待执行任务的任务类型和任务要求来选择离线数据处理模式或者在线数据处理模式，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务，既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的任务要求，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。
第四方面，本申请实施例提供了一种分散式处理装置，用于隐私计算、隐私数据及联邦学习。所述分散式处理装置包括：第一模块，用于根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；第二模块，用于根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果；和第三模块，用于运行本地数据管理系统，其中所述本地数据管理系统包括在线接口。其中，所述分散式处理装置配置为，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果。其中，所述分散式处理装置配置为，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。
第四方面所描述的技术方案，通过根据待执行任务的任务类型和任务要求来选择离线数据处理模式或者在线数据处理模式，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务，既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的任务要求，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述分散式处理装置配置为，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务，或者，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务，或者，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力以及本地实时网络通信条件。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地ID集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地ID集，获得并导出与所述待执行任务相关联的ID集。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述本地隐私计算框架是FATE框架、PySyft框架或者SGX框架。
附图说明
为了说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1示出了本申请实施例提供的分散式处理方法的流程示意图。
图2示出了本申请实施例提供的分散式处理方法的应用场景。
图3示出了本申请实施例提供的用于图1的分散式处理方法的电子设备的框图。
图4示出了本申请实施例提供的分散式处理装置的框图。
具体实施方式
本申请实施例为了解决如何在满足通信安全、环境安全验证、存储安全及计算安全等方面的需求同时还能兼顾数据分散式的隐私计算场景下有限的算力、存储资源和网络通信资源及能耗要求，这样的技术难题，提出了一种隐私计算、隐私数据及联邦学习的分散式处理方法及装置。其中，所述分散式处理方法包括：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果。其中，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果。其中，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。本申请实施例具有以下有益技术效果：通过根据待执行任务的任务类型和任务要求来选择离线数据处理模式或者在线数据处理模式，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务，既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的应用需求和任务要求，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。
本申请实施例可用于以下应用场景，包括但是不限于，隐私计算、隐私数据的相关处理、多方安全计算、与联邦学习有关的机器学习模型训练、数据安全、隐私保护或者应用隐私计算框架或算法的其它应用场景等。
本申请实施例可以依据具体应用环境进行调整和改进，此处不做具体限定。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请的实施例进行描述。
图1示出了本申请实施例提供的分散式处理方法的流程示意图。如图1所示，分散式处理方法包括以下步骤。
步骤S110：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求。
步骤S120：根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果。
其中，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果。当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。
上面提到，隐私计算、隐私数据的相关处理以及联邦学习的各种应用场景下通常涉及到两个或者更多个参与方之间协同进行任务，而数据分散式的隐私计算或者说用于隐私计算、隐私数据及联邦学习的分散式处理方法，意味着依赖各个参与方的本地算力、存储资源和控制资源在本地完成运算后并且通过各个参与方之间的数据交互手段来交换中间结果、模型参数等，进而实现协同完成任务。以两个参与方之间进行联邦学习建模操作为例，该两个参与方一般先需要进行数据求交也就是根据各自的ID数据来获得交集ID，然后分别基于交集ID导出与交集ID对应的特征数据集，最后进行联合建模。因此该两个参与方需要各自在本地完成与数据求交、导出特征数据集以及联合建模相关的运算。在数据分散式的隐私计算的应用场景及其应用实例中，也即图1所示的分散式处理方法的适用场景下，协同进行隐私计算任务、隐私数据处理任务或者联邦学习任务的多个参与方各自需要在本地完成一系列的操作、运算、步骤或者子任务等，并且需要通过各自的网络接口或者其它合适的数据交互手段来交换加密后的中间结果、模型参数等，而且同时还必须满足各种隐私计算框架或者联邦学习模型下的加解密协议、安全协议、通信协议以及数据处理存储规范等所带来的在通信安全、环境安全验证、存储安全及计算安全等方面的需求，以上这些还受到各个参与方在算力、存储资源和网络通信资源及能耗方面的限制。下面结合图1所示的分散式处理方法的各个步骤详细说明如何兼顾以上各种要求。应当理解的是，图1所示的分散式处理方法针对多个参与方中的任意一个参与方，并且可以适用于任意角色或者定位的参与方包括数据源方和数据应用方等，只要该多个参与方协同进行隐私计算任务、隐私数据处理任务或者联邦学习任务又或者归属于同一个隐私计算合作网络或项目。
请参阅图1，在步骤S110根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，以及在步骤S120根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果。图1所示的分散式处理方法，适用于数据分散式的隐私计算的应用场景及其应用实例，首先根据待执行任务的任务类型和任务要求在两种数据处理模式，也就是在离线数据处理模式和在线数据处理模式之间选择其中一种，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务。离线数据处理模式和在线数据处理模式分别决定了不同的运行本地隐私计算框架的方式。一方面，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果。通过在线接口实时接收样本ID以及通过在线接口实时反馈执行结果，意味着要占用一定的算力、存储资源及网络资源来保证本地隐私计算框架可以通过在线接口完成实时接收样本ID和实时反馈执行结果。具体来说，实时接收意味着需要相匹配的数据导入操作来将实时接收的样本ID导入适当的存储器，而实时反馈意味着要在相对较短的时间完成所述待执行任务并且需要相匹配的数据导出操作来将执行结果实时反馈到外部例如其他参与方和/或实时反馈到本地数据管理系统进行存储，例如求交任务的结果数据实时反馈到本地数据管理系统进行存储，预测任务的结果数据实时反馈到外部，查询任务的结果数据实时反馈到外部，同时也实时反馈到本地数据管理系统进行存储。因此，在所述在线数据处理模式下运行所述本地隐私计算框架，也就是通过在线接口实时接收并实时反馈，意味着需要预先规划并分配一定的算力、存储资源及网络资源来支持相应的数据导入导出操作和网络通信需求特别是满足实时接收和实时反馈的要求。但是，如上所述，受到在算力、存储资源和网络通信资源及能耗方面的限制，执行图1所示的分散式处理方法的参与方需要在考虑到各种资源限制的前提下来选择性地在所述在线数据处理模式下运行所述本地隐私计算框架。另一方面，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。其中在离线数据处理模式下本地隐私计算框架通过本地数据管理系统的数据导出模块来实现导出ID集或者特征数据集，意味着可以通过本地数据管理系统来统一化管理数据的导入导出操作，也因此可以应对较大的数据量的场景或者计算密集型任务。与在所述在线数据处理模式下运行所述本地隐私计算框架时不同，在所述离线数据处理模式下运行所述本地隐私计算框架不要求在较短时间内完成任务，也就是说结果反馈可以是不实时的，甚至可以比任务启动后延迟一段时间如数小时或者数天。因此，在所述离线数据处理模式下运行所述本地隐私计算框架，降低了在反馈及时性方面的要求也即允许在任务启动后相对较长时间后才完成任务，适合于对时效性要求较低的场景，以及特别适合对数据量需求较大的应用场景。通过延长从任务启动到任务完成的时间间隔，可以利用有限的算力、存储资源来完成海量数据的计算任务例如通过装置复用、存储资源复用等方式，并且因为通过本地数据管理系统来统一化管理数据的导入导出操作也因此可能借助外部存储器来等效地拓展了本地存储资源的限制。但是考虑到某些隐私计算任务或者联邦学习应用场景对时效性的要求较高或者对时效性的要求是刚性的，例如自动驾驶场景下的规避操作判断要求及时有效地根据所采集到的环境数据判断是否要做出规避行为来躲避可能的障碍物、行人或者其它冲撞风险，这种情况下就不适合在所述离线数据处理模式下运行所述本地隐私计算框架。也就是说，执行图1所示的分散式处理方法的参与方需要综合考虑具体要执行的隐私计算任务的应用需求和任务要求，特别是对时效性的要求有多高、是否为刚性要求等。
请参阅步骤S110和步骤S120，如上所述，执行图1所示的分散式处理方法的参与方需要考虑到在算力、存储资源和网络通信资源及能耗方面的限制，以及需要考虑到具体要执行的隐私计算任务的应用需求和任务要求，特别是对时效性的要求有多高、是否为刚性要求等，从而在离线数据处理模式和在线数据处理模式之间选择其中一种，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务。这里，根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，并且其中所述待执行任务的任务要求包括所述待执行任务的时效性要求。待执行任务的任务类型用于从相对宏观层面去指示待执行任务是否可能需要应对较大的数据量的场景或者计算密集型任务，待执行任务的任务要求用于从相对微观层面去指示给定任务的偏好，包括对时效性的要求等。结合待执行任务的任务类型和任务要求，可以基本上判断出适合选择离线数据处理模式或者在线数据处理模式。如果待执行任务的任务类型指示了需要应对海量数据或者密集型计算，或者如果待执行任务的任务要求关于时效性的要求不高，则适合选择离线数据处理模式并且后续在所选择的离线数据处理模式下运行本地隐私计算框架来执行任务。如果待执行任务的任务类型没有指示需要应对海量数据或者密集型计算且待执行任务的任务要求关于时效性的要求比较高，则适合选择在线数据处理模式并且后续在所选择的在线数据处理模式下运行本地隐私计算框架来执行任务。当然，如果一个待执行任务需要应对的数据量比较大或者需要应对比较密集型的计算，但是该参与方本地隐私计算框架及其所需要调用的计算资源相对空闲时，也可以选择在线数据处理模式下运行本地隐私计算框架来执行任务。除此之外，任务要求还可以包括用户指定选择离线数据处理模式或在线数据处理模式，且用户指定的优先级更高。如上所述，如果选择了在线数据处理模式，这意味着要占用一定的算力、存储资源及网络资源来保证本地隐私计算框架可以通过在线接口完成实时接收样本ID和实时反馈执行结果。实践中，执行图1所示的分散式处理方法的参与方往往要面临多个任务或者同时参与多个协作项目，上述的分散式处理方法使得参与方能充分利用本地资源支持多个任务的执行过程，例如选择性地对一部分任务提供在所述在线数据处理模式下运行这部分任务所需要的算力、存储资源及网络资源而对于其它任务则安排在所述离线数据处理模式下运行其它任务。因此，通过根据待执行任务的任务类型和任务要求来选择离线数据处理模式或者在线数据处理模式，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务，既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的应用需求和任务要求，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。
继续参阅图1，本地数据管理系统包括在线接口，本地隐私计算框架通过本地数据管理系统的在线接口实现了实时接收以及实时反馈。在一些实施例中，相对于该在线接口位于本地数据管理系统，该在线接口可以是相对于本地数据管理系统和本地隐私计算框架单独设置的，可以是本地隐私计算框架包括该在线接口，还可以是本地隐私计算框架和本地数据管理系统分别包括至少一个该在线接口。也就是说，本地隐私计算框架通过单独设置的该在线接口或者位于该本地隐私计算框架中的在线接口或者位于该本地数据管理系统中的在线接口实现了实时接收以及实时反馈。在一些实施例中，本地隐私计算框架通过位于该本地隐私计算框架中的在线接口和位于该本地数据管理系统中的在线接口配合实现了实时接收以及实时反馈；或者，本地隐私计算框架通过位于该本地隐私计算框架中的在线接口和位于该本地数据管理系统中的在线接口配合实现了实时接收和实时反馈执行结果到该本地数据管理系统进行存储，以及通过位于该本地隐私计算框架中的在线接口实时反馈执行结果到外部例如其他参与方。应当理解的是，在线接口是单独设置或者位于本地数据管理系统中或者位于本地隐私计算框架中，个别实施例中，在线接口同时位于该本地隐私计算框架和该本地数据管理系统中，这些都意味着要占用一定的算力、存储资源及网络资源从而保证本地隐私计算框架可以通过该在线接口实现实时接收样本ID和实时反馈执行结果。
在一种可能的实施方式中，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务。上面提到，结合待执行任务的任务类型和任务要求，可以基本上判断出适合选择离线数据处理模式或者在线数据处理模式。数据求交任务指的是在两个或者更多个参与方之间协同进行数据求交任务从而获得各参与方的ID数据之间的交集ID，例如在两个参与方之间通过RSA求交算法实现隐私集合求交（Private Set Intersection，PSI）。应当理解的是，所述待执行任务的任务类型是数据求交任务，可以涵盖任意合适的PSI方案，包括RSA求交算法、基于不经意传输（Oblivious Transfer，OT）的方案、基于同态加密（Homomorphic Encryption，HE）的方案或者任意其它合适的PSI方案。数据求交任务一般来说涉及到海量的数据或者说涉及到海量的样本ID，例如一个参与方为银行而另一个参与方为电商企业，这两个参与方之间要对各自的用户数据进行数据求交任务以确定共有的用户，则这样的数据求交任务以及具体执行的PSI方案需要面临海量的数据的导入导出操作，并且出于保证用户隐私和数据安全性的目的还需要采用安全性较好的PSI方案也因此面临较大的计算开销和通信开销。这意味着适合选择离线数据处理模式并且在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务。另外，建模任务指的是在两个或者更多个参与方之间协同进行模型建立任务例如协同建立用于隐私计算的神经网络模型或者协同建立联邦学习的机器学习模型，用于建模任务的数据集如训练数据集往往意味着海量数据如海量的全量特征数据，这意味着适合选择离线数据处理模式并且在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述建模任务。如此，当所述待执行任务的任务类型是数据求交任务或者建模任务时，选择在所述离线数据处理模式下运行所述本地隐私计算框架，从而既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的应用需求和任务要求。应当理解的是，数据求交任务一般是建模任务的前置任务，也就是说，一般是先完成数据求交任务从而获得交集ID后再导出与交集ID对应的特征数据用于建模，但也可能基于在先处理过的历史求交任务结果进行建模任务，还可能直接进行建模任务。
在一种可能的实施方式中，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务。数据查询任务一般指的是接收到查询请求，该查询请求包含样本ID或者其它可用于识别数据的特征如名称等，基于查询请求判断本地数据集是否有与查询请求对应的数据并反馈查询结果。数据查询任务所涉及的查询请求一般包含一个或者数量较少的样本ID，也就是一般只查询相对较少的样本个数。而数据查询任务的应用场景往往是需要及时反馈查询结果的，这意味着适合选择在线数据处理模式并且后续在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务。如此，当所述待执行任务的任务类型是数据查询任务时，选择在所述在线数据处理模式下运行所述本地隐私计算框架，从而既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的应用需求和任务要求。
在一种可能的实施方式中，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。预测任务指的是运用通过建模任务而建立的或者已有的模型或算法从而根据输入数据导出模型或算法的输出结果，例如将输入数据导入联邦学习的机器学习模型并导出机器学习模型的输出结果，其中用于预测任务的模型或算法可能是单任务架构也可能是多任务架构也即同时完成多种推理任务，并且示例性的推理任务包括逻辑回归、推荐、分类、识别等。预测任务可能适用于要求即时反馈结果或者要求在较短时限内反馈结构的应用场景，例如自动驾驶场景下的规避行为判断等，也可能适用于不要求即时反馈结果或者不要求在较短时限内反馈结果的应用场景。为此，需要结合所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，例如所述待执行任务是否需要及时响应、如果没有及时响应可能带来多么严重的后果等。在一些实施例中，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力。这里，参考数据量是基于本地实时数据处理能力。上面提到，如果选择在所述在线数据处理模式下运行所述本地隐私计算框架则意味着要占用一定的算力、存储资源及网络资源来保证本地隐私计算框架可以通过在线接口完成实时接收样本ID和实时反馈执行结果，因此可以综合考虑所述待执行任务的时效性要求和本地实时数据处理能力从而更好地做出选择。在一些实施例中，所述参考数据量还基于本地实时网络通信条件。因此可以综合考虑所述待执行任务的时效性要求、本地实时数据处理能力以及本地实时网络通信条件从而更好地做出选择。在一些实施例中，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。这里，考虑到在所述离线数据处理模式下能更好地提供数据安全和隐私信息保护，而且在所述在线数据处理模式下为了确保实时接收样本ID和实时反馈执行结果可能无法执行安全性更好但是也带来更大计算开销和网络开销的安全协议，因此对于没有满足所述可信度要求的所述预测任务的发起方，适合在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。在一些实施例中，所述待执行任务的任务类型是预测任务，当所述预测任务是自动驾驶场景下的规避操作预测任务或者电商场景下的推荐操作预测任务或者金融场景下的违规行为预测任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。如此，结合所述预测任务的实际应用场景选择在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。在一些实施例中，所述待执行任务是多个任务中的一个任务，所述多个任务的任务类型均是预测任务，所述分散式处理方法还包括：根据所述多个任务各自的时效性要求进行排序并在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述多个任务中时效性要求排序较高的任务。实践中，执行图1所示的分散式处理方法的参与方往往要面临多个任务或者同时参与多个协作项目，上述的分散式处理方法使得参与方能充分利用本地资源支持多个任务的执行过程，例如选择性地对一部分任务提供在所述在线数据处理模式下运行这部分任务所需要的算力、存储资源及网络资源而对于其它任务则安排在所述离线数据处理模式下运行其它任务。为此，通过根据所述多个任务各自的时效性要求进行排序，可以将有限的资源优先安排给时效性要求排序更高的任务。
在一种可能的实施方式中，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地ID集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地ID集，获得并导出与所述待执行任务相关联的ID集。特征数据集的元信息包括数据的名称、维度、数量、特征名称、创建时间等等属性或信息，ID集则是可以唯一标识特征数据的一种属性或信息，如此，结合本地数据管理系统的本地存储器，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。在一些实施例中，所述数据导出模块还配置为：基于与所述待执行任务相关联的ID集，从所述第二数据仓库导出与所述待执行任务相关联的特征数据集。在一些实施例中，所述待执行任务的任务类型是数据求交任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述数据求交任务相关联的ID集用于执行所述数据求交任务。在一些实施例中，所述待执行任务的任务类型是建模任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述建模任务相关联的特征数据集用于执行所述建模任务。在一些实施例中，所述待执行任务的任务类型是离线预测任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述离线预测任务相关联的特征数据集用于执行所述离线预测任务。在一些实施例中，所述待执行任务的任务类型是在线预测任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述在线预测任务相关联的一个或者多个样本ID从所述第二数据仓库或者从相对于所述本地存储器的外部存储器获得与所述在线预测任务相关联的特征数据集用于执行所述在线预测任务。在一些实施例中，所述待执行任务的任务类型是数据查询任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述数据查询任务相关联的一个或者多个样本ID查询所述第二数据仓库得到查询结果作为所述执行结果。
在一种可能的实施方式中，所述本地隐私计算框架是FATE框架、PySyft框架或者SGX框架。
应当理解的是，上述方法可以通过相应的执行主体或者载体来实现。在一些示例性实施例中，一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述方法以及上述任意实施例、实施方式或者它们的组合。在一些示例性实施例中，一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述方法以及上述任意实施例、实施方式或者它们的组合。
图2示出了本申请实施例提供的分散式处理方法的应用场景。如图2所示，参与方200和参与方210之间协作完成隐私计算任务。其中，参与方200具有本地隐私计算框架202，并且具有在线接口204和本地数据管理系统206，其中在线接口204被包括在本地数据管理系统206中。参与方210具有本地隐私计算框架212，并且具有在线接口214和本地数据管理系统216，其中在线接口214被包括在本地数据管理系统216中。参与方200和参与方210都采用图1所示的分散式处理方法来处理数据分散式的隐私计算的应用场景及其应用实例的需求。具体地，对于参与方200而言，参与方200根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，然后根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架202从而执行所述待执行任务并获得执行结果；当在所述在线数据处理模式下运行本地隐私计算框架202时，本地隐私计算框架202通过本地数据管理系统206的在线接口204实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果；当在所述离线数据处理模式下运行本地隐私计算框架202时，本地隐私计算框架202通过本地数据管理系统206的数据导出模块（未示出）从本地数据管理系统206的本地存储器（未示出）导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。另外，对于参与方210而言，参与方210根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，然后根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架212从而执行所述待执行任务并获得执行结果；当在所述在线数据处理模式下运行本地隐私计算框架212时，本地隐私计算框架212通过本地数据管理系统216的在线接口214实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果；当在所述离线数据处理模式下运行本地隐私计算框架212时，本地隐私计算框架212通过本地数据管理系统216的数据导出模块（未示出）从本地数据管理系统216的本地存储器（未示出）导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。
请继续参阅图2，参与方200和参与方210各自执行的分散式处理方法，可以参考上述关于图1所示的分散式处理方法的细节、实施方式以及具体实施例。这里，参与方200和参与方210都需要考虑到具体要执行的隐私计算任务的任务要求特别是对时效性的要求有多高、是否为刚性要求等，并且分别需要考虑自身在算力、存储资源和网络通信资源及能耗方面的限制。例如，当所述待执行任务的任务类型是数据查询任务时，因为数据查询任务的应用场景往往是需要及时反馈查询结果的，参与方200和参与方210都需要选择在线数据处理模式。再例如，当所述待执行任务的任务类型是预测任务时，参与方200和参与方210可以根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。这里，参与方200可能具有比参与方210更多的资源，但是参与方210可能不具备足够的资源也即无法提供足够的算力、存储资源及网络资源来保证本地隐私计算框架212可以通过在线接口214完成实时接收样本ID和实时反馈执行结果。这种情况下适合让参与方210选择在所述离线数据处理模式下运行所述本地隐私计算框架212从而执行所述预测任务。而参与方200可以同样选择在所述离线数据处理模式下运行所述本地隐私计算框架202从而执行所述预测任务，也可能选择在所述在线数据处理模式下运行所述本地隐私计算框架202。也就是说，不同参与方各自的实际情况不同，可能分别选择不同的数据处理模式，只要最后能协同完成任务。图1所示的分散式处理方法，针对多个参与方中的任意一个参与方，并且可以适用于任意角色或者定位的参与方包括数据源方和数据应用方等，只要该多个参与方协同进行隐私计算任务、隐私数据处理任务或者联邦学习任务又或者归属于同一个隐私计算合作网络或项目。因此，图1所示的分散式处理方法使得各个参与方可以分别根据各自的本地算力、存储资源和控制资源的实际状况来作为选择数据处理模式的参考，同时又考虑到了具体要执行的隐私计算任务的任务要求特别是因此对参与了该要执行的隐私计算任务的全体参与方提出的应用需求和任务要求，从而也对各个参与方的对数据处理模式的选择施加了一定的全局性的约束。如此有利于充分利用多个参与方各自的资源。
继续参阅图2，参与方200的本地数据管理系统206包括在线接口204，本地隐私计算框架202通过本地数据管理系统206的在线接口204实现了实时接收以及实时反馈。在一些实施例中，相对于该在线接口204位于本地数据管理系统206，该在线接口204可以是相对于本地数据管理系统206和本地隐私计算框架202单独设置的，可以是本地隐私计算框架202包括该在线接口204，还可以是本地隐私计算框架202和本地数据管理系统206分别包括至少一个该在线接口204。也就是说，本地隐私计算框架202通过单独设置的该在线接口204或者位于该本地隐私计算框架202中的在线接口204或者位于该本地数据管理系统206中的在线接口204实现了实时接收以及实时反馈。个别实施例中，本地隐私计算框架通过也可以通过位于该本地隐私计算框架202中的在线接口204和位于该本地数据管理系统206中的在线接口204配合实现了实时接收以及实时反馈；或者，本地隐私计算框架202通过位于该本地隐私计算框架202中的在线接口204和位于该本地数据管理系统206中的在线接口204配合实现了实时接收和实时反馈执行结果到该本地数据管理系统206进行存储，以及通过位于该本地隐私计算框架202中的在线接口204实时反馈执行结果到外部例如其他参与方。应当理解的是，在线接口204是单独设置或者位于本地数据管理系统206中或者位于本地隐私计算框架202中，个别实施例中，在线接口204同时位于本地数据管理系统206和本地隐私计算框架202中，这些都意味着要占用一定的算力、存储资源及网络资源从而保证本地隐私计算框架可以通过该在线接口实现实时接收样本ID和实时反馈执行结果。类似地，在线接口214是相对于本地数据管理系统216和本地隐私计算框架212单独设置或者位于本地数据管理系统216中或者位于本地隐私计算框架212中，个别实施例中，在线接口214同时位于本地数据管理系统216和本地隐私计算框架212中，这些都意味着要占用一定的算力、存储资源及网络资源从而保证本地隐私计算框架可以通过该在线接口实现实时接收样本ID和实时反馈执行结果。
图3示出了本申请实施例提供的用于图1的分散式处理方法的电子设备的框图。如图3所示，电子设备包括主处理器302，内部总线304，网络接口306，主存储器308，以及辅助处理器310和辅助内存312，还有辅助处理器320和辅助内存322。其中，主处理器302与主存储器308连接，主存储器308可用于存储主处理器302可执行的计算机指令，从而可以实现图1的分散式处理方法，包括其中部分或者全部步骤，也包括其中步骤的任意可能的组合或结合以及可能的替换或者变体。网络接口306用于提供网络连接以及通过网络收发数据。内部总线304用于提供在主处理器302、网络接口306、辅助处理器310以及辅助处理器320之间的内部的数据交互。其中，辅助处理器310与辅助内存312连接并一起提供辅助计算能力，而辅助处理器320与辅助内存322连接并一起提供辅助计算能力。辅助处理器310和辅助处理器320可以提供相同或者不同的辅助计算能力，包括但是不限于，针对特定计算需求进行优化的计算能力如并行处理能力或者张量计算能力，针对特定算法或者逻辑结构进行优化的计算能力例如迭代计算能力或者图计算能力等。辅助处理器310和辅助处理器320可以包括特定类型的一个或者多个处理器，如数字信号处理器（DSP），专用集成电路（ASIC），现场可编程门阵列（FPGA）等，从而可以提供定制化的功能和结构。在一些示例性实施例中，电子设备可以不包括辅助处理器，可以包括仅一个辅助处理器，还可以包括任意数量的辅助处理器且各自具有相应的定制化功能及结构，在此不做具体限定。图3中所示出的两个辅助处理器的架构仅为说明性而不应解释为限制性。另外，主处理器302可以包括单核或者多核的计算单元，用于提供本申请实施例所必需的功能和操作。另外，主处理器302和辅助处理器（如图3中的辅助处理器310和辅助处理器320）可以具有不同的架构，也就是电子设备可以是基于异构架构的系统，例如主处理器302可以是基于指令集操作体系的通用型处理器如CPU，而辅助处理器可以是适合并行化计算的图形处理器GPU或者是适合神经网络模型相关运算的专用加速器。辅助内存（例如图3所示的辅助内存312和辅助内存322）可以用于配合各自对应的辅助处理器来实现定制化功能及结构。而主存储器308用于存储必要的指令、软件、配置、数据等从而可以配合主处理器302提供本申请实施例所必需的功能和操作。在一些示例性实施例中，电子设备可以不包括辅助内存，可以包括仅一个辅助内存，还可以包括任意数量的辅助内存，在此不做具体限定。图3中所示出的两个辅助内存的架构仅为说明性而不应解释为限制性。主存储器308以及可能的辅助内存可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性，并且可以包括随机存取存储器（RAM），闪存，只读存储器（ROM），可擦可编程只读存储器（EPROM），电可擦可编程只读存储器（EEPROM），寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘（CD），数字多功能光盘（DVD），大容量存储介质设备或任何其他形式的合适存储介质。内部总线304可以包括不同总线结构中的任何一种或不同总线结构的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。应当理解的是，图3所示的电子设备，其所示的结构并不构成对有关装置或系统的具体限定，在一些示例性实施例中，电子设备可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。
图4示出了本申请实施例提供的分散式处理装置的框图。如图4所示，所述分散式处理装置包括：第一模块410，用于根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；第二模块420，用于根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果；和第三模块430，用于运行本地数据管理系统432，其中所述本地数据管理系统432包括在线接口440。所述分散式处理装置配置为，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述在线接口440实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果。所述分散式处理装置配置为，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统432的数据导出模块（未示出）从所述本地数据管理系统432的本地存储器（未示出）导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。图4所示的分散式处理装置，通过根据待执行任务的任务类型和任务要求来选择离线数据处理模式或者在线数据处理模式，并且后续在所选择的数据处理模式下运行本地隐私计算框架来执行任务，既考虑到在算力、存储资源和网络通信资源及能耗方面的限制也考虑到待执行任务的应用需求和任务要求，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。继续参阅图4，在一些实施例中，在线接口440可以是相对于本地数据管理系统432而单独设置。
在一种可能的实施方式中，所述分散式处理装置配置为，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务，或者，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务，或者，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。在一些实施例中，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力以及本地实时网络通信条件。在一些实施例中，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。待执行任务的任务类型用于从相对宏观层面去指示待执行任务是否可能需要应对较大的数据量的场景或者计算密集型任务，待执行任务的任务要求用于从相对微观层面去指示给定任务的偏好包括对时效性的要求等。结合待执行任务的任务类型和任务要求，可以基本上判断出适合选择离线数据处理模式或者在线数据处理模式。
在一种可能的实施方式中，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地ID集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地ID集，获得并导出与所述待执行任务相关联的ID集。
在一种可能的实施方式中，所述本地隐私计算框架是FATE框架、PySyft框架或者SGX框架。
本申请提供的具体实施例可以用硬件，软件，固件或固态逻辑电路中的任何一种或组合来实现，并且可以结合信号处理，控制和/或专用电路来实现。本申请具体实施例提供的设备或装置可以包括一个或多个处理器（例如，微处理器，控制器，数字信号处理器（DSP），专用集成电路（ASIC），现场可编程门阵列（FPGA）等），这些处理器处理各种计算机可执行指令从而控制设备或装置的操作。本申请具体实施例提供的设备或装置可以包括将各个组件耦合在一起的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任何一种或不同总线结构的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。本申请具体实施例提供的设备或装置可以是单独提供，也可以是系统的一部分，也可以是其它设备或装置的一部分。
本申请提供的具体实施例可以包括计算机可读存储介质或与计算机可读存储介质相结合，例如能够提供非暂时性数据存储的一个或多个存储设备。计算机可读存储介质/存储设备可以被配置为保存数据，程序器和/或指令，这些数据，程序器和/或指令在由本申请具体实施例提供的设备或装置的处理器执行时使这些设备或装置实现有关操作。计算机可读存储介质/存储设备可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性。在一个或多个示例性实施例中，计算机可读存储介质/存储设备可以被集成到本申请具体实施例提供的设备或装置中或属于公共系统。计算机可读存储介质/存储设备可以包括光存储设备，半导体存储设备和/或磁存储设备等等，也可以包括随机存取存储器（RAM），闪存，只读存储器（ROM），可擦可编程只读存储器（EPROM），电可擦可编程只读存储器（EEPROM），寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘（CD），数字多功能光盘（DVD），大容量存储介质设备或任何其他形式的合适存储介质。
以上是本申请实施例的实施方式，应当指出，本申请具体实施例描述的方法中的步骤可以根据实际需要进行顺序调整、合并和删减。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。可以理解的是，本申请实施例以及附图所示的结构并不构成对有关装置或系统的具体限定。在本申请另一些实施例中，有关装置或系统可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。本领域技术人员将理解，在不脱离本申请具体实施例的精神和范围的情况下，可以对具体实施例记载的方法和设备的布置，操作和细节进行各种修改或变化；在不脱离本申请实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (25)

1.一种分散式处理方法，用于隐私计算、隐私数据及联邦学习，其特征在于，所述分散式处理方法包括：
根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；
根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果，
其中，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果，
其中，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。
2.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务。
3.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务。
4.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
5.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力。
6.根据权利要求5所述的分散式处理方法，其特征在于，所述参考数据量还基于本地实时网络通信条件。
7.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
8.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，当所述预测任务是自动驾驶场景下的规避操作预测任务或者电商场景下的推荐操作预测任务或者金融场景下的违规行为预测任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
9.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务是多个任务中的一个任务，所述多个任务的任务类型均是预测任务，所述分散式处理方法还包括：根据所述多个任务各自的时效性要求进行排序并在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述多个任务中时效性要求排序较高的任务。
10.根据权利要求1所述的分散式处理方法，其特征在于，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地ID集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地ID集，获得并导出与所述待执行任务相关联的ID集。
11.根据权利要求10所述的分散式处理方法，其特征在于，所述数据导出模块还配置为：基于与所述待执行任务相关联的ID集，从所述第二数据仓库导出与所述待执行任务相关联的特征数据集。
12.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是数据求交任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述数据求交任务相关联的ID集用于执行所述数据求交任务。
13.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是建模任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述建模任务相关联的特征数据集用于执行所述建模任务。
14.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是离线预测任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述离线预测任务相关联的特征数据集用于执行所述离线预测任务。
15.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是在线预测任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述在线预测任务相关联的一个或者多个样本ID从所述第二数据仓库或者从相对于所述本地存储器的外部存储器获得与所述在线预测任务相关联的特征数据集用于执行所述在线预测任务。
16.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是数据查询任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述数据查询任务相关联的一个或者多个样本ID查询所述第二数据仓库得到查询结果作为所述执行结果。
17.根据权利要求1至16中任一项所述的分散式处理方法，其特征在于，所述本地隐私计算框架是FATE框架、PySyft框架或者SGX框架。
18.一种非瞬时性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据权利要求1至17中任一项所述的分散式处理方法。
19.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现根据权利要求1至17中任一项所述的分散式处理方法。
20.一种分散式处理装置，用于隐私计算、隐私数据及联邦学习，其特征在于，所述分散式处理装置包括：
第一模块，用于根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；
第二模块，用于根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果；和
第三模块，用于运行本地数据管理系统，其中所述本地数据管理系统包括在线接口；其中，所述分散式处理装置配置为，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并通过所述在线接口实时反馈所述执行结果，
其中，所述分散式处理装置配置为，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。
21.根据权利要求20所述的分散式处理装置，其特征在于，所述分散式处理装置配置为，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务，或者，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务，或者，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
22.根据权利要求21所述的分散式处理装置，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力以及本地实时网络通信条件。
23.根据权利要求21所述的分散式处理装置，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。
24.根据权利要求20所述的分散式处理装置，其特征在于，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地ID集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地ID集，获得并导出与所述待执行任务相关联的ID集。
25.根据权利要求20至24中任一项所述的分散式处理装置，其特征在于，所述本地隐私计算框架是FATE框架、PySyft框架或者SGX框架。
CN202210660615.1A 2022-06-13 2022-06-13 隐私计算、隐私数据及联邦学习的分散式处理方法及装置 Active CN114764417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210660615.1A CN114764417B (zh) 2022-06-13 2022-06-13 隐私计算、隐私数据及联邦学习的分散式处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210660615.1A CN114764417B (zh) 2022-06-13 2022-06-13 隐私计算、隐私数据及联邦学习的分散式处理方法及装置

Publications (2)

Publication Number Publication Date
CN114764417A CN114764417A (zh) 2022-07-19
CN114764417B true CN114764417B (zh) 2022-08-26

Family

ID=82365103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210660615.1A Active CN114764417B (zh) 2022-06-13 2022-06-13 隐私计算、隐私数据及联邦学习的分散式处理方法及装置

Country Status (1)

Country Link
CN (1) CN114764417B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049909B (zh) * 2023-01-28 2023-06-27 腾讯科技（深圳）有限公司 联邦特征工程中的特征筛选方法、装置、设备及存储介质
CN117592555B (zh) * 2023-11-28 2024-05-10 中国医学科学院北京协和医院 一种面向多源异构医疗数据的联邦学习方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977268A (zh) * 2017-10-13 2018-05-01 北京百度网讯科技有限公司 人工智能的异构硬件的任务调度方法、装置及可读介质
CN108519914A (zh) * 2018-04-09 2018-09-11 腾讯科技（深圳）有限公司 大数据计算方法、系统和计算机设备
CN109766180A (zh) * 2017-11-09 2019-05-17 阿里巴巴集团控股有限公司 负载均衡方法和装置、存储介质、计算设备及计算系统
CN110554921A (zh) * 2019-08-30 2019-12-10 腾讯科技（深圳）有限公司 时间片分配方法、装置、存储介质和计算机设备
CN111258735A (zh) * 2020-01-16 2020-06-09 中国人民解放军国防科技大学 一种支持用户QoS感知的深度学习任务调度方法
CN112130963A (zh) * 2020-09-30 2020-12-25 腾讯科技（深圳）有限公司 虚拟机任务的调度方法、装置、计算机设备及存储介质
CN112445583A (zh) * 2019-08-28 2021-03-05 北京沃东天骏信息技术有限公司 任务管理方法、任务管理系统、电子设备、存储介质
CN113946552A (zh) * 2021-10-20 2022-01-18 星辰天合（北京）数据科技有限公司 数据处理方法及电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170102726A (ko) * 2016-03-02 2017-09-12 한국전자통신연구원 이종 컴퓨팅 방법
US10579423B2 (en) * 2018-04-02 2020-03-03 Microsoft Technology Licensing, Llc Resource scheduling using machine learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977268A (zh) * 2017-10-13 2018-05-01 北京百度网讯科技有限公司 人工智能的异构硬件的任务调度方法、装置及可读介质
CN109766180A (zh) * 2017-11-09 2019-05-17 阿里巴巴集团控股有限公司 负载均衡方法和装置、存储介质、计算设备及计算系统
CN108519914A (zh) * 2018-04-09 2018-09-11 腾讯科技（深圳）有限公司 大数据计算方法、系统和计算机设备
CN112445583A (zh) * 2019-08-28 2021-03-05 北京沃东天骏信息技术有限公司 任务管理方法、任务管理系统、电子设备、存储介质
CN110554921A (zh) * 2019-08-30 2019-12-10 腾讯科技（深圳）有限公司 时间片分配方法、装置、存储介质和计算机设备
CN111258735A (zh) * 2020-01-16 2020-06-09 中国人民解放军国防科技大学 一种支持用户QoS感知的深度学习任务调度方法
CN112130963A (zh) * 2020-09-30 2020-12-25 腾讯科技（深圳）有限公司 虚拟机任务的调度方法、装置、计算机设备及存储介质
CN113946552A (zh) * 2021-10-20 2022-01-18 星辰天合（北京）数据科技有限公司 数据处理方法及电子装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Dynamic Scheduling for Soft Real-Time Distributed Object Systems";V.Kalogeraki等;《ISORC 00:Proceedings of the Third IEEE International Symposium on Object-Oriented Real-Time Distributed Computing》;20000315;1-8 *
"基于前摄反应策略的敏捷成像卫星任务动态调度";李志亮等;《第四届高分辨率对地观测学术年会》;20181026;1-17 *
"异构并行系统中高时效性任务的节能调度方法";黄日胜;《计算机应用与软件》;20151223;第32卷(第11期);329-333 *

Also Published As

Publication number Publication date
CN114764417A (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN114764417B (zh) 隐私计算、隐私数据及联邦学习的分散式处理方法及装置
CN108647962B (zh) 征信系统、征信数据的存储方法、装置、设备及介质
CN110096857B (zh) 区块链系统的权限管理方法、装置、设备和介质
WO2020052125A1 (zh) 基于区块链的能源交互装置、能源互联网系统和交互方法
CN109510840B (zh) 非结构化数据的共享方法、装置、计算机设备和存储介质
CN111459461A (zh) 基于物联网和区块链技术的用能权核定及交易系统和方法
US20230367888A1 (en) Multi-party encryption cube processing apparatuses, methods and systems
CN114064278A (zh) 用于联邦学习的异构加速引擎及方法
CN111612167A (zh) 机器学习模型的联合训练方法、装置、设备及存储介质
WO2021139467A1 (zh) 联邦学习方法、系统、计算机设备和存储介质
US11917057B2 (en) Method, device, and apparatus for processing distributed data, and medium
Treleaven et al. Federated learning: The pioneering distributed machine learning and privacy-preserving data technology
CN113779613B (zh) 用于联邦学习的安全数据网络的数据管理方法及装置
CN111506932A (zh) 一种区块链算力上链实现方法
CN114462060A (zh) 联邦学习系统和联邦学习任务处理方法
CN116204307A (zh) 兼容不同计算框架的联邦学习方法和联邦学习系统
CN115277187A (zh) 一种请求数据校验结果提示方法、装置、存储介质及设备
CN116244062A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN114996760A (zh) 隐私计算、隐私数据及联邦学习的数据管理系统及方法
CN114969832A (zh) 一种基于无服务器架构的隐私数据管理方法和系统
CN114116908A (zh) 一种数据管理方法、装置及电子设备
CN114298694A (zh) 区块链服务平台管理方法、装置、计算机设备和存储介质
CN114764509B (zh) 隐私计算、隐私数据和联邦学习的互联互通方法及装置
CN113672374A (zh) 用于联邦学习和隐私计算的任务调度方法及系统
CN112541540A (zh) 数据融合方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant