CN114219098A - 一种基于参数服务器的联邦学习系统 - Google Patents

一种基于参数服务器的联邦学习系统 Download PDF

Info

Publication number
CN114219098A
CN114219098A CN202111463991.3A CN202111463991A CN114219098A CN 114219098 A CN114219098 A CN 114219098A CN 202111463991 A CN202111463991 A CN 202111463991A CN 114219098 A CN114219098 A CN 114219098A
Authority
CN
China
Prior art keywords
data
information
module
task
federal learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111463991.3A
Other languages
English (en)
Other versions
CN114219098B (zh
Inventor
王春源
傅湘玲
杨欣勇
陈松龄
司洪超
王菲
苗丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huarong Rongtong Beijing Technology Co ltd
Original Assignee
Huarong Rongtong Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huarong Rongtong Beijing Technology Co ltd filed Critical Huarong Rongtong Beijing Technology Co ltd
Priority to CN202111463991.3A priority Critical patent/CN114219098B/zh
Publication of CN114219098A publication Critical patent/CN114219098A/zh
Application granted granted Critical
Publication of CN114219098B publication Critical patent/CN114219098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于参数服务器的联邦学习系统，包括：页面交互模块、业务逻辑模块、系统支撑模块、数据存储模块；本发明的优点在于：具备有良好的可视化操作界面，对现有联邦学习框架进行二次封装，以一种简明的方式为联邦学习合作者提供联邦学习模型训练服务，将为联邦学习合作者提供一个渠道去相互连接，从而达到推动联邦学习生态圈发展的目的。

Description

一种基于参数服务器的联邦学习系统
技术领域
本发明涉及一种联邦学习系统，具体地说是一种基于参数服务器的联邦学习系统，属于联邦学习系统领域。
背景技术
在进入21世纪，伴随着算法提升以及大数据的出现，人工智能又进入了一个新的发展热潮期，尤其AlphaGo的出现和成功，让人们人工智能的潜力有了更深刻的认识，人们对其在金融、医疗等领域一展拳脚有着很大憧憬。但AlphaGo的成功不仅仅在于它的算法和算力，更在于它有着庞大数据量的支撑。
如今除了有限的几个领域，更多的领域存在着数据有限且质量较差的问题，同时数据源之间存在着壁垒，在很多情况下人工智能需要涉及多个领域内的知识，但在大多数行业中，数据都是以孤岛形式存在的，由于行业竞争、隐私安全、手续复杂等问题，即便在同一个公司内的不同部门之间也存在着数据孤岛现象。
另一方面，随着大数据技术的进步，人们变得越来越重视数据隐私安全，同时也对人工智能的传统的数据处理模式产生了很大的挑战。
在这种情况下，联邦学习概念出现了。联邦学习（Federated Learning/Federatedmachine learning），又名联邦机器学习、联合学习、联盟学习，它是一个机器学习框架能够有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，在技术上打破数据孤岛，实现AI协作。在联邦学习定义的机器学习框架下通过设计虚拟模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。虚拟模型是各方将数据聚合在一起的最优模型，各自区域依据模型为本地目标服务。在建模过程中，数据不会发生转移，因此不会泄露用户隐私或影响数据范式，合法合规。
目前业界中主要的联邦学习开源框架有FATE，PaddleFL，TensorFlow Federated，Pysyft等。
2019年2月，微众银行开源FATE开源项目，截止2020年12月发布FATEV1.4版本，覆盖横向联邦学习，纵向联邦学习，联邦迁移学习，得到了社区内广泛的关注与应用。同时，FATE提供20多个联邦学习算法组件，涵盖LR，GBDT，DNN等主流算法，覆盖常规商业应用场景建模需求。尤其值得注意的是，FATE提供了一站式联邦模型服务解决方案，涵盖联邦特征工程，联邦机器学习模型训练，联邦模型评估，联邦在线推理，相比其他开源框架，在工业应用上有显著的优势。
2019年11月，百度宣布开源其联邦学习框架 PaddleFL。PaddleFL开源框架中包含了DiffieHellman等安全算子，及LR等机器学习算法。由于其开源时间较短，算子丰富程度逊于上述三个框架。PaddleFL的优势在于通过与百度机器学习开源框架PaddlePaddle的交互，吸引相关生态开发者加入开发。
OpenMinded 开源的Pysyft框架，较好地支持横向联邦学习。该框架同时支持Tensorflow，Keras，Pytorch，为使用人员快速上手提供了较多的选择。Pysyft提供了安全加密算子，数值运算算子，及联邦学习算法，用户也可以高效搭建自己的联邦学习算法。相比较FATE，OpenMinded尚未提供高效的部署方案及serving端解决方案，相比工业应用，更适合作为高效的学术研究、原型开发的工具。
谷歌开源的TensorFlow Federated框架，截止2019年12月已发布至0.11版本，较好地支持横向联邦学习。其中，可以通过Federated Learning（FL）APl，与Tensorflow/Keras 交互，完成分类、回归等任务。用户也可以通过其提供的Federated Core（FC）API，通过在强类型函数编程环境中将TensorFlow与分布式通信运算符相结合，简洁地表达新的联合算法。目前TensorFlow Federated在安全加密算子上缺少开放实现，同时缺少对线上生产的完善支撑。
综合现有文献存在以下缺点：
（1）学习成本高，操作难度大。以业界现存框架做联邦学习训练，首先需要对框架有很好的研究，即便如FATE这样的文档较多的框架，依然让许多人感到难以入门，需要耗费一定的时间精力才能达到正常使用现有基础算法的程度；
（2）联邦合作渠道不明确，不易于扩大生态圈。现存框架不具备有扩大生态圈的功能，而联邦学习产生的重要目的之一为扩大数据集，在安全条件下进入联合建模，但现有框架下想达到这一目的需要与对方有良好的沟通才能达成，且渠道较少。
（3）现有技术，必须在部署相关框架时便表明各合作方，增加合作方时需要进行相关配置文件修改，灵活性低，并不适应于市场多变的数据合作要求。
发明内容
本发明的目的在于，设计了一种基于参数服务器的联邦学习系统，具备有良好的可视化操作界面，对现有联邦学习框架进行二次封装，以一种简明的方式为联邦学习合作者提供联邦学习模型训练服务，将为联邦学习合作者提供一个渠道去相互连接，从而达到推动联邦学习生态圈发展的目的。
本发明的技术方案为：
一种基于参数服务器的联邦学习系统，包括：页面交互模块、业务逻辑模块、系统支撑模块、数据存储模块；
所述页面交互模块：接收业务逻辑模块传来的模型信息、工作流进度信息、用户信息、数据资源信息、计算资源信息、业务流程信息并在页面进行图形化表格化展示；设有多个管理功能按钮，提供给用户管理数据资源、计算资源、用户信息、业务流程信息的管理功能，在用户点击按钮后调用业务逻辑模块的对应具体接口完成响应管理操作；将联邦学习算法定义过程以表单的形式可视化实现，用户通过具体表单实现算法定义、数据绑定、计算资源绑定、任务发起等一系列流程，在任务发起后接受由业务逻辑层传来的任务调度详情信息并可视化展示；
所述业务逻辑模块：接受页面交互模块发起的计算资源管理、数据资源管理、用户信息管理、业务流程信息管理的管理请求，通过操作数据存储模块完成管理操作，并将响应信息返回给页面交互模块；接受页面交互模块发送的联邦学习任务定义、数据绑定、计算资源绑定的联邦学习任务请求，并向系统支撑模块发送请求由其完成具体操作，并接受其返回的相关信息将其返回给页面交互模块；按照安全算法完成准入凭证的生与校验；根据系统支撑层传递的用户权限数据进行权限校验；使用Redis配合Spring日志进行日志缓存管理；对系统的相关异常信息进行处理，保证系统稳定性；
所述系统支撑模块：接受业务逻辑模块发送的联邦学习任务调度请求，将任务详细信息写入居于Redis实现的任务表中，并将相关数据推送到高性能参数服务器上，参数服务器负责任务分送并通过Dubbo调用部署在具体计算资源上的任务启动器，将具体任务信息进行发送并启动联邦学习任务；联邦学习任务调度信息由调度器返回给参数服务器，并返回给业务逻辑模块，由其向上层发送；
所述数据存储模块：使用Redis、MySQL以及Hadoop作为数据存储的具体底层技术，分别对参数数据、日志数据、计算资源数据、数据资源数据、用户信息数据、联邦学习任务数据、模型数据的数据进行存储，接受系统支撑模块、业务逻辑模块发起的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示。
所述页面交互模块具体实现方法如下：
（1）接收业务逻辑模块传来的模型信息、工作流进度信息、用户信息、数据资源信息、计算资源信息、业务流程信息并在页面进行图形化表格化展示；
（2）设计多个管理功能按钮，提供给用户管理数据资源、计算资源、用户信息、业务流程信息的管理功能，在用户点击按钮后调用业务逻辑模块的对应具体接口完成响应管理操作；
（3）将联邦学习算法定义过程以表单的形式可视化实现，用户可以通过具体表单实现算法定义、数据绑定、计算资源绑定、任务发起等一系列流程，在任务发起后接受由业务逻辑层传来的任务调度详情信息并可视化展示。
所述业务逻辑模块具体实现方法如下：
（1）接受页面交互模块发起的计算资源管理、数据资源管理、用户信息管理、业务流程信息管理的管理请求，通过操作数据存储模块完成管理操作，并将响应信息返回给页面交互模块；接受页面交互模块发送的联邦学习任务定义、数据绑定、计算资源绑定的联邦学习任务请求，并向系统支撑模块发送请求由其完成具体操作，并接受其返回的相关信息将其返回给页面交互模块；
（2）按照安全算法完成准入凭证的生与校验；
（3）根据系统支撑层传递的用户权限数据进行权限校验；
（4）使用Redis配合Spring日志进行日志缓存管理；
（5）对系统的相关异常信息进行相关处理，保证系统稳定性；
所述系统支撑模块具体实现方法如下：
（1）接受业务逻辑模块发送的联邦学习任务调度请求，将任务详细信息写入居于Redis实现的任务表中，并将相关数据推送到高性能参数服务器上，参数服务器负责任务分送并通过Dubbo调用部署在具体计算资源上的任务启动器，将具体任务信息进行发送并启动联邦学习任务；
（2）联邦学习任务调度信息由调度器返回给参数服务器，并返回给业务逻辑模块，由其向上层发送；
所述数据资源层具体实现如下：
（1）使用Redis别对参数数据、日志数据、联邦学习任务数据的数据进行存储，接受系统支撑模块的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示；
（2）使用MySQL作为数据存储的具体底层技术，别参数数据、日志数据、计算资源数据、数据资源数据、用户信息数据、联邦学习任务数据、模型数据的数据进行存储，接受系统支撑模块、业务逻辑模块发起的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示；
（3）使用Hadoop作为数据存储的具体底层技术，别对联邦学习任务数据进行存储，接受系统支撑模块块发起的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示。
上述基于参数服务器的联邦学习方法，包括以下内容：
（1）用户使用系统页面进行数据定义、计算资源绑定、角色定义、算法逻辑定义；
（2）进行参数解析，进行参数合理性验证；
（3）参数校验通过发送到任务启动器，任务启动器执行配置项初始操作；
（4）配置项初始化完成后，对进行DSL文件组装，按照参数生成DSL配置文件，数据输入文件，将任务提交到具体FATE计算节点；
（5）FATE计算节点开始建模任务，其中参数服务器担任观察者角色，负责梯度计算、参数更新等操作，基于EggRoll进行管理；
（6）任务调度器接收任务进度信息，并返回给前端展示。
本发明的有益效果为：
(1)有效降低了联邦学习技术门槛。在本发明中，将联邦学习算法定义过程详细的划分为：定义合作方、定义角色、绑定计算节点、绑定数据资源、算法逻辑定义等五个阶段，综合运用相关WEB技术，将整个算法定义转化为一个表格完善过程，相比较编写代码，本方式更加便捷且无使用门槛；
(2)对数据集资源进行了一定整合。现有技术关注点在与系统架构层面，并未关注资源整合层面，无法解决数据扩展渠道少的问题。本发明系统对数据资源进行了整合，各用户方使用本系统可以进行数据集的公开、申请、合作授权等操作，扩展了合作渠道，便于联邦学习生态圈的发展；
(3)突破框架本身限制，灵活性更强。本发明基于FATE联邦学习开源学习框架，FATE在部署时便已经对各参与方的具体IP地址、端口号等信息进行配置记录，这种情况下要更换合作方时需要初始化整个FATE框架，并不灵活。本发明，结合参数服务器架构思想，在网络拓扑上设置了应用服务器、参数服务器、同步服务器、FATE计算节点四种服务器类型。参数服务器负责任务启动、任务调度，同步服务器具备对同一内网下的FATE节点的连同功能；应用服务器用于管理具体合作关系，每次任务发起时对任务环境进行初始化。在这种设计下，用户想要改变参与方只需要在合作方定义修改定义项即可，且所有操作均为页面可视化操作，更加灵活。
下面结合附图和实施例对本发明作进一步说明。
附图说明
图1为本发明实施例一种基于参数服务器的联邦学习系统的体系结构图；
图2为图1所示系统的系统架构图。
具体实施方式
以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
如图1所示，一种基于参数服务器的联邦学习系统，分为页面交互模块、业务逻辑模块、系统支撑模块、数据存储模块；
页面交互模块：接收业务逻辑模块传来的模型信息、工作流进度信息、用户信息、数据资源信息、计算资源信息、业务流程信息并在页面进行图形化表格化展示；设计了多个管理功能按钮，提供给用户管理数据资源、计算资源、用户信息、业务流程信息的管理功能，在用户点击按钮后调用业务逻辑模块的对应具体接口完成响应管理操作；将联邦学习算法定义过程以表单的形式可视化实现，用户可以通过具体表单实现算法定义、数据绑定、计算资源绑定、任务发起等一系列流程，在任务发起后接受由业务逻辑层传来的任务调度详情信息并可视化展示。
业务逻辑模块：接受页面交互模块发起的计算资源管理、数据资源管理、用户信息管理、业务流程信息管理等管理请求，通过操作数据存储模块完成管理操作，并将响应信息返回给页面交互模块；接受页面交互模块发送的联邦学习任务定义、数据绑定、计算资源绑定等联邦学习任务请求，并向系统支撑模块发送请求由其完成具体操作，并接受其返回的相关信息将其返回给页面交互模块；按照安全算法完成准入凭证的生与校验；根据系统支撑层传递的用户权限数据进行权限校验；使用Redis配合Spring日志进行日志缓存管理；对系统的相关异常信息进行处理，保证系统稳定性。
系统支撑模块：接受业务逻辑模块发送的联邦学习任务调度请求，将任务详细信息写入居于Redis实现的任务表中，并将相关数据推送到高性能参数服务器上，参数服务器负责任务分送并通过Dubbo调用部署在具体计算资源上的任务启动器，将具体任务信息进行发送并启动联邦学习任务；联邦学习任务调度信息由调度器返回给参数服务器，并返回给业务逻辑模块，由其向上层发送。
数据存储模块：使用Redis、MySQL以及Hadoop作为数据存储的具体底层技术，分别对参数数据、日志数据、计算资源数据、数据资源数据、用户信息数据、联邦学习任务数据、模型数据等数据进行存储，接受系统支撑模块、业务逻辑模块发起的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示。
完成联邦学习建模任务功能的具体如下：
1.数据收集阶段
如图2所示，通过系统后端服务完成对联邦学习系统所有联邦学习任务参数的获取，并实时通过Kafka分布式消息队列机制发送到参数服务器不同的处理结点，进行实时处理与分析；
2.任务调度阶段
将通过消息队列实时同步到参数服务器的参数数据经过任务启动器完成参数的分发，并通过使用Dubbo远程调用部署在模型训练中心的服务启动联邦学习模型训练任务，各个训练中心单独存在，各代表一个联邦学习合作者，合作者之间通过任务调度器完成参数的交互，并将将调度数据通过消息队列返回给联邦学习系统并存储。JobProcesser会将任务进度数据实时返回给系统客户端，便于用户查看任务进度；
3.任务完成阶段
模型训练完成之后，modelProceser会将模型按照数据提供比例分别部署在合作者的各自服务器上，并通过适配器将一个模型部署在客户端，适配器会对模型进行安全加密以及权限控制，保证合作者的相关权益。

Claims (5)

1.一种基于参数服务器的联邦学习系统，其特征在于，包括：页面交互模块、业务逻辑模块、系统支撑模块、数据存储模块；
所述页面交互模块：接收业务逻辑模块传来的模型信息、工作流进度信息、用户信息、数据资源信息、计算资源信息、业务流程信息并在页面进行图形化表格化展示；设有多个管理功能按钮，提供给用户管理数据资源、计算资源、用户信息、业务流程信息的管理功能，在用户点击按钮后调用业务逻辑模块的对应具体接口完成响应管理操作；将联邦学习算法定义过程以表单的形式可视化实现，用户通过具体表单实现算法定义、数据绑定、计算资源绑定、任务发起的一系列流程，在任务发起后接受由业务逻辑层传来的任务调度详情信息并可视化展示；
所述业务逻辑模块：接受页面交互模块发起的计算资源管理、数据资源管理、用户信息管理、业务流程信息管理的管理请求，通过操作数据存储模块完成管理操作，并将响应信息返回给页面交互模块；接受页面交互模块发送的联邦学习任务定义、数据绑定、计算资源绑定的联邦学习任务请求，并向系统支撑模块发送请求由其完成具体操作，并接受其返回的相关信息将其返回给页面交互模块；按照安全算法完成准入凭证的生与校验；根据系统支撑层传递的用户权限数据进行权限校验；使用Redis配合Spring日志进行日志缓存管理；对系统的相关异常信息进行处理，保证系统稳定性；
所述系统支撑模块：接受业务逻辑模块发送的联邦学习任务调度请求，将任务详细信息写入居于Redis实现的任务表中，并将相关数据推送到高性能参数服务器上，参数服务器负责任务分送并通过Dubbo调用部署在具体计算资源上的任务启动器，将具体任务信息进行发送并启动联邦学习任务；联邦学习任务调度信息由调度器返回给参数服务器，并返回给业务逻辑模块，由其向上层发送；
所述数据存储模块：使用Redis、MySQL以及Hadoop作为数据存储的具体底层技术，分别对参数数据、日志数据、计算资源数据、数据资源数据、用户信息数据、联邦学习任务数据、模型数据的数据进行存储，接受系统支撑模块、业务逻辑模块发起的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示。
2.根据权利要求1所述的一种基于参数服务器的联邦学习系统，其特征在于：所述页面交互模块具体实现方法如下：
（1）接收业务逻辑模块传来的模型信息、工作流进度信息、用户信息、数据资源信息、计算资源信息、业务流程信息并在页面进行图形化表格化展示；
（2）设计多个管理功能按钮，提供给用户管理数据资源、计算资源、用户信息、业务流程信息的管理功能，在用户点击按钮后调用业务逻辑模块的对应具体接口完成响应管理操作；
（3）将联邦学习算法定义过程以表单的形式可视化实现，用户可以通过具体表单实现算法定义、数据绑定、计算资源绑定、任务发起的一系列流程，在任务发起后接受由业务逻辑层传来的任务调度详情信息并可视化展示。
3.根据权利要求1所述的一种基于参数服务器的联邦学习系统，其特征在于：所述业务逻辑模块具体实现方法如下：
（1）接受页面交互模块发起的计算资源管理、数据资源管理、用户信息管理、业务流程信息管理的管理请求，通过操作数据存储模块完成管理操作，并将响应信息返回给页面交互模块；接受页面交互模块发送的联邦学习任务定义、数据绑定、计算资源绑定的联邦学习任务请求，并向系统支撑模块发送请求由其完成具体操作，并接受其返回的相关信息将其返回给页面交互模块；
（2）按照安全算法完成准入凭证的生与校验；
（3）根据系统支撑层传递的用户权限数据进行权限校验；
（4）使用Redis配合Spring日志进行日志缓存管理；
（5）对系统的相关异常信息进行相关处理，保证系统稳定性。
4.根据权利要求1所述的一种基于参数服务器的联邦学习系统，其特征在于：所述系统支撑模块具体实现方法如下：
（1）接受业务逻辑模块发送的联邦学习任务调度请求，将任务详细信息写入居于Redis实现的任务表中，并将相关数据推送到高性能参数服务器上，参数服务器负责任务分送并通过Dubbo调用部署在具体计算资源上的任务启动器，将具体任务信息进行发送并启动联邦学习任务；
（2）联邦学习任务调度信息由调度器返回给参数服务器，并返回给业务逻辑模块，由其向上层发送。
5.根据权利要求1所述的一种基于参数服务器的联邦学习系统，其特征在于：所述数据资源层具体实现如下：
（1）使用Redis别对参数数据、日志数据、联邦学习任务数据的数据进行存储，接受系统支撑模块的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示；
（2）使用MySQL作为数据存储的具体底层技术，别参数数据、日志数据、计算资源数据、数据资源数据、用户信息数据、联邦学习任务数据、模型数据的数据进行存储，接受系统支撑模块、业务逻辑模块发起的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示；
（3）使用Hadoop作为数据存储的具体底层技术，别对联邦学习任务数据进行存储，接受系统支撑模块块发起的对数据存储的相关请求，并返回给其相关操作结果信息，由其向上层展示。
CN202111463991.3A 2021-12-03 2021-12-03 一种基于参数服务器的联邦学习系统 Active CN114219098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111463991.3A CN114219098B (zh) 2021-12-03 2021-12-03 一种基于参数服务器的联邦学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111463991.3A CN114219098B (zh) 2021-12-03 2021-12-03 一种基于参数服务器的联邦学习系统

Publications (2)

Publication Number Publication Date
CN114219098A true CN114219098A (zh) 2022-03-22
CN114219098B CN114219098B (zh) 2024-06-11

Family

ID=80699504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111463991.3A Active CN114219098B (zh) 2021-12-03 2021-12-03 一种基于参数服务器的联邦学习系统

Country Status (1)

Country Link
CN (1) CN114219098B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130681A (zh) * 2022-06-29 2022-09-30 蓝象智联(杭州)科技有限公司 用于联邦学习的数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899076A (zh) * 2020-08-12 2020-11-06 科技谷（厦门）信息技术有限公司 一种基于联邦学习技术平台的航空服务定制化系统及方法
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
KR102284539B1 (ko) * 2020-11-30 2021-08-02 주식회사 애자일소다 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법
CN113469371A (zh) * 2021-07-01 2021-10-01 建信金融科技有限责任公司 联邦学习方法和装置
CN113642844A (zh) * 2021-07-12 2021-11-12 建信金融科技有限责任公司 联邦学习任务管理方法及系统
CN113723220A (zh) * 2021-08-11 2021-11-30 电子科技大学 基于大数据联邦学习架构下的深度伪造溯源系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN111899076A (zh) * 2020-08-12 2020-11-06 科技谷（厦门）信息技术有限公司 一种基于联邦学习技术平台的航空服务定制化系统及方法
KR102284539B1 (ko) * 2020-11-30 2021-08-02 주식회사 애자일소다 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법
CN113469371A (zh) * 2021-07-01 2021-10-01 建信金融科技有限责任公司 联邦学习方法和装置
CN113642844A (zh) * 2021-07-12 2021-11-12 建信金融科技有限责任公司 联邦学习任务管理方法及系统
CN113723220A (zh) * 2021-08-11 2021-11-30 电子科技大学 基于大数据联邦学习架构下的深度伪造溯源系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
潘如晟;韩东明;潘嘉铖;周舒悦;魏雅婷;梅鸿辉;陈为;: "联邦学习可视化:挑战与框架", 计算机辅助设计与图形学学报, no. 04, 4 January 2020 (2020-01-04) *
王亚珅;: "面向数据共享交换的联邦学习技术发展综述", 无人系统技术, no. 06, 15 November 2019 (2019-11-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130681A (zh) * 2022-06-29 2022-09-30 蓝象智联(杭州)科技有限公司 用于联邦学习的数据处理方法及装置

Also Published As

Publication number Publication date
CN114219098B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
Albert et al. Configuration based workflow composition
CN107341643A (zh) 可视化的流程展示方法及系统
Du Research on engineering project management method based on BIM technology
CN110428217A (zh) 一种erp系统
Dubberly Connecting things
Silva et al. Requirements Engineering Challenges and Techniques in Building Chatbots.
CN113836809A (zh) 基于区块链和联邦学习的跨行业数据联合建模方法及系统
Red et al. Multi-user computer-aided design and engineering software applications
Lauterbach et al. What makes “the system” tick?-Explaining individuals’ adaptation behavior towards effective use in enterprise system implementations
CN103324658A (zh) 用于准备请求文档的协作系统
Huang et al. [Retracted] Construction of Virtual Marketing Interactive Platform for Digital Twin Innovation and Entrepreneurship Based on Blockchain
CN114219098A (zh) 一种基于参数服务器的联邦学习系统
Anya Bridge the gap! What can work design in crowdwork learn from work design theories?
Tsironis et al. Fuzzy performance evaluation of workflow stochastic Petri nets by means of block reduction
KR102663831B1 (ko) 클라우드 기반의 ui/ux 협업 개발시스템
Meneses-Ortegón et al. Knowledge Management Framework for Early Phases in TOGAF-based Enterprise Architecture.
Padget et al. On requirements representation and reasoning using answer set programming
Jin et al. A Design Toolbox for the Development of Collaborative Distributed Machine Learning Systems
Heidt et al. Blockchain and trust: a practice-based inquiry
Tolchinsky et al. High engagement organization design
Parikh et al. Monolithic to Microservices Architecture-A Framework for Design and Implementation
Edwards et al. Communication Strategies
Bratu et al. A software infrastructure for negotiation within inter-organisational alliances
Lin et al. Incorporating conversation managers into multi-agent systems
Hans et al. Enabling collaboration in virtual manufacturing enterprises with cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant