CN111736819A

CN111736819A - 实现联邦学习流程控制处理的系统

Info

Publication number: CN111736819A
Application number: CN202010571118.5A
Authority: CN
Inventors: 曾维
Original assignee: Shanghai Fudata Technology Co ltd
Current assignee: Shanghai Fudata Technology Co ltd
Priority date: 2020-06-22
Filing date: 2020-06-22
Publication date: 2020-10-02
Anticipated expiration: 2040-06-22
Also published as: CN111736819B

Abstract

本发明涉及一种实现联邦学习流程控制处理的系统，包括前端，用于直接在前端修改流图，自动匹配对应的服务进行执行；流程工程管理模块，与所述的前端相连接，用于负责支撑系统管理；流程引擎模块，与所述的流程工程管理模块相连接，用于描述流的结构以及给每个组件配置的属性；联邦学习服务模块，与所述的流程引擎模块相连接，用于发布联邦学习服务及维护。采用了本发明的实现联邦学习流程控制处理的系统，引擎层和业务逻辑分离，业务的修改和完全不影响引擎的修改；有新组件发布的时候，只需要发布联邦学习服务代码，不需要重新发布流引擎和前端。本发明完全不入侵原来的服务的业务逻辑，引擎中只做服务的调度控制。

Description

实现联邦学习流程控制处理的系统

技术领域

本发明涉及图形化编辑领域，具体是指一种实现联邦学习流程控制处理的系统。

背景技术

模块流程图系统是一种支持用户图形化编辑执行过程的系统，比较类似的产品有：

Visio：可以在工具箱拖动图形，绘制流程图，但是这个产品实际不运行真实的逻辑服务，只是一个流程图绘图工具。

Fate：一款联邦学习流产品，前端编辑联邦学习流程图，后端执行，但是这个产品的流的控制和服务是强绑定的，流图中的每个组件就是一个特定服务，不支持流上每个组件的动态修改，而且新增组件的过程需要完整发布前后端以及流的相关逻辑。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足独立性好、操作简便、适用范围较为广泛的实现联邦学习流程控制处理的系统。

为了实现上述目的，本发明的实现联邦学习流程控制处理的系统如下：

该实现联邦学习流程控制处理的系统，其主要特点是，所述的系统包括：

前端，用于直接在前端修改流图，自动匹配对应的服务进行执行；

流程工程管理模块，与所述的前端相连接，用于负责支撑系统管理；

流程引擎模块，与所述的流程工程管理模块相连接，用于描述流的结构以及给每个组件配置的属性；

联邦学习服务模块，与所述的流程引擎模块相连接，用于发布联邦学习服务及维护。

较佳地，所述的前端包括：

组件工具箱，包含常用的组件和流的模版，用于减少对于后端请求的网络传输耗时；

流画布区，用于通过工具箱的组件绘制真实的流图；

属性编辑器，用于编辑流图运行组件过程中所需的特定配置。

较佳地，所述的组件的名称图标和形状的配置通过请求后端的接口自动渲染生成。

较佳地，所述的组件包含数据集加载器组件、对齐组件、数据集融合组件、联邦学习算法LR组件、联邦学习算法模型评估组件、联邦学习模型部署组件。

较佳地，所述的流程引擎模块包括：

DSL解析层，与所述的流程工程管理模块相连接，用于通过DSL语言解析，生成有向无环图；

DAG编排优化层，与所述的DSL解析层相连接，用于通过DAG编排优化，将图拆分成并发执行的多个小组；

DAG执行层，与所述的DAG编排优化层相连接，用于检测组件及其属性，并调用联邦学习的服务。

较佳地，所述的DAG执行层包括状态机、组件调度器、组件容器和组件代理单元，用于通过状态机检测每个组件是否为等待执行状态，组件调度器将可执行状态的组件放至组件容器中，组件容器加载组件配置的属性，通过组件代理单元代理组件，调用联邦学习的实际服务。

采用了本发明的实现联邦学习流程控制处理的系统，本发明的引擎层和业务逻辑分离，业务的修改和完全不影响引擎的修改；流图的修改可以在画布上支持灵活修改组件属性，不需要重新绘图，不需要删除原有组件再添加新组件；有新组件发布的时候，只需要发布联邦学习服务代码，不需要重新发布流引擎和前端。本发明完全不入侵原来的服务的业务逻辑，引擎中只做服务的调度控制。

附图说明

图1为本发明的实现联邦学习流程控制处理的系统的结构图。

图2为本发明的实现联邦学习流程控制处理的系统的前端操作区的示意图。

图3为本发明的实现联邦学习流程控制处理的系统的实施例中在流图上完成两个图的替换的示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该实现联邦学习流程控制处理的系统，其中包括：

作为本发明的优选实施方式，所述的前端包括：

流画布区，用于通过工具箱的组件绘制真实的流图；

作为本发明的优选实施方式，所述的组件的名称图标和形状的配置通过请求后端的接口自动渲染生成。

作为本发明的优选实施方式，所述的组件包含数据集加载器组件、对齐组件、数据集融合组件、联邦学习算法LR组件、联邦学习算法模型评估组件、联邦学习模型部署组件。

作为本发明的优选实施方式，所述的流程引擎模块包括：

作为本发明的优选实施方式，所述的DAG执行层包括状态机、组件调度器、组件容器和组件代理单元，用于通过状态机检测每个组件是否为等待执行状态，组件调度器将可执行状态的组件放至组件容器中，组件容器加载组件配置的属性，通过组件代理单元代理组件，调用联邦学习的实际服务。

本发明的具体实施方式中，提出一种新的联邦学习流控制引擎，完全不入侵原来的服务的业务逻辑，引擎中只做服务的调度控制。

系统的操作区组成包括组件工具箱、流画布区和属性编辑器。

1、组件工具箱：

其中保存常用的组件和流的模版：

比如：数据集加载器组件、对齐组件、数据集融合组件、联邦学习算法LR组件、联邦学习算法模型评估组件、联邦学习模型部署组件等。

这里的组件是系统默认支持的组件，其名称图标，形状的配置可通过请求后端的接口自动渲染生成。但是为了优化系统的体验，前端这里保持了一些常用的组件配置，减少对于后端请求的网络传输耗时。

2、流画布区：

流画布区用于绘制真实的流图。从工具箱拖动一个算子到画布区，通过连线表示组件执行流程。类似visio的画图方式。不同于Fate，一个组件绑定特定的服务，我们流图中的组件和具体服务无绑定，只是一个组件的容器，可以认为是一个空白组件，初始化的时候为了优化用户体验，保留了常用配置，用户可以在属性编辑区直接将组件替换成新的组件。

比如我们在流图上完成两个图的替换，左图是加载器组件加载的数据集A和数据B，然后对于两个数据集做对齐操作。右图是融合器组件生成的融合集A和过滤器组件配置的过滤的参数给LR算法组件运行。

不需要重新拖动工具箱组件到服务器，直接属性区修改组件名称，图在运行过程中，会自动去匹配对应的服务来执行，简化使用着需要做的工作，而且在工具箱的服务有更新的时候，我们完全不用考虑前端的更新，只需要在后端逻辑上更新即可。

3、属性编辑器：

每个流图在运行每个组件的时候，需要的一些特定的配置，比如数据集给一个标记，标记为A或者B，可以在属性编辑器中进行编辑。

为了支撑上述的功能，整个系统的架构设计如下：

1、后端流程工程管理：

主要负责创建流、保存并查看我的创建的文件，删除到回收站，常用模版等支撑系统管理的功能。

2、流的引擎：

引擎是核心，在前端画布上编辑好一个流之后，通过描述语言传给后端流的构成，描述这个流的结构以及给每个组件配置的属性，这里描述语言的格式可以是json，xml，也可以是其他适合前后端传输的格式。

DSL解析层：引擎通过DSL语言的解析，生成一个有向无环图，简称DAG；

DAG编排优化层：通过DAG编排优化，我们将图拆分成能并发执行的多个小组，便于执行器并发执行；

DAG执行层：

先通过状态机检测每个组件是否是等待执行状态，组件调度器将可执行状态的组件放到组件容器中，组件容器加载组件配置的属性，通过组件的代理，将调用联邦学习的实际服务。组件代理的使用，使我们不需要修改和入侵实际的联邦学习服务，就可以调用联邦学习的服务，在有新的组件发布的时候，比如发布了一个新的算法组件A，更新实际联邦学习服务，我们在前端不需要任何更新发布操作，只需要在组件属性配置的时候配置要执行的是算法A即可。

联邦学习实际服务层：从分层可以看出，我们的引擎完全和联邦学习后端逻辑解耦，联邦学习新的服务发布的时候，也无需修改流引擎的相关逻辑，系统的维护更简单。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims

1.一种实现联邦学习流程控制处理的系统，其特征在于，所述的系统包括：

2.根据权利要求1所述的实现联邦学习流程控制处理的系统，其特征在于，所述的前端包括：

流画布区，用于通过工具箱的组件绘制真实的流图；

3.根据权利要求2所述的实现联邦学习流程控制处理的系统，其特征在于，所述的组件的名称图标和形状的配置通过请求后端的接口自动渲染生成。

4.根据权利要求2所述的实现联邦学习流程控制处理的系统，其特征在于，所述的组件包含数据集加载器组件、对齐组件、数据集融合组件、联邦学习算法LR组件、联邦学习算法模型评估组件、联邦学习模型部署组件。

5.根据权利要求1所述的实现联邦学习流程控制处理的系统，其特征在于，所述的流程引擎模块包括：

6.根据权利要求5所述的实现联邦学习流程控制处理的系统，其特征在于，所述的DAG执行层包括状态机、组件调度器、组件容器和组件代理单元，用于通过状态机检测每个组件是否为等待执行状态，组件调度器将可执行状态的组件放至组件容器中，组件容器加载组件配置的属性，通过组件代理单元代理组件，调用联邦学习的实际服务。