CN113570071A

CN113570071A - 一种联邦学习模型服务发布方法及系统

Info

Publication number: CN113570071A
Application number: CN202110908325.XA
Authority: CN
Inventors: 陈益强; 赵绪浩; 蒋鑫龙; 马兴敏
Original assignee: Intelligent Computing Research Institute Of Shandong Industrial Technology Research Institute
Current assignee: Intelligent Computing Research Institute Of Shandong Industrial Technology Research Institute
Priority date: 2021-08-09
Filing date: 2021-08-09
Publication date: 2021-10-29

Abstract

本发明公开一种联邦学习模型服务发布方法及系统，包括：第一服务器接收模型加载请求，将其送至第二服务器，以使第一服务器和第二服务器均在模型仓库中调用联邦学习模型，将其加载至各自的存储模块中；第一服务器接收服务指令，根据服务名称在存储模块中调用目标联邦学习模型，基于推理特征采用目标联邦学习模型得到第一推理结果；第一服务器将包括特征ID和模型ID的推理指令发送至第二服务器，以使第二服务器调用推理特征和目标联邦学习模型，并将基于推理特征和目标联邦学习模型得到的第二推理结果返回至第一服务器；第一服务器将第一推理结果和第二推理结果集成后进行推理服务结果的发布。实现高并发、低延迟、高可用的在线联邦推理。

Description

一种联邦学习模型服务发布方法及系统

技术领域

本发明涉及联邦学习技术领域，特别是涉及一种联邦学习模型服务发布方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

对于联邦学习系统训练得到的联邦模型，联邦学习系统往往只支持离线推理，无法满足实时的在线推理或不满足系统的高可用；而现有的机器学习在线推理框架不支持联邦学习模型的调用。对于快速使用联邦模型进行实时的在线推理，并满足高并发、低延迟、高可用的在线推理，需要开发人员进行大量的开发，增加开发成本、维护成本等。另外，在多个服务器联合推理时，均直接发送特征数据并基于调用的模型进行联合推理，那么各个服务器之间数据传输时的安全性、泄露问题以及模型信息的泄露问题等无法保证。

发明内容

为了解决上述问题，本发明提出了一种联邦学习模型服务发布方法及系统，通过第一服务器与第二服务器的联合推理实现模型服务，所有服务器仅对本方的特征数据进行本地推理，第一服务器通过特征ID和模型ID发送指令至第二服务器，且第二服务器也只是反馈推理结果，任意一方服务器的数据均不会泄露给其他服务器。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种联邦学习模型服务发布方法，包括：

第一服务器接收模型加载请求，并将模型加载请求发送至第二服务器，以使第一服务器和第二服务器均根据模型加载请求在模型仓库中调用联邦学习模型，将其加载至各自的存储模块中；

第一服务器接收包括推理特征和服务名称的服务指令，根据服务名称在存储模块中调用目标联邦学习模型，基于推理特征采用目标联邦学习模型得到第一推理结果；

第一服务器根据推理特征和目标联邦学习模型将包括特征ID和模型ID的推理指令发送至第二服务器，以使第二服务器根据推理指令调用推理特征和目标联邦学习模型，并将基于推理特征和目标联邦学习模型得到的第二推理结果返回至第一服务器；

第一服务器将第一推理结果和第二推理结果集成后进行推理服务结果的发布。

作为可选择的实施方式，第一服务器和第二服务器均包含两个或两个以上的副本。

作为可选择的实施方式，第二服务器预先构建特征数据库，接收第一服务器发送地推理指令后，根据特征ID在特征数据库调用推理特征。

作为可选择的实施方式，服务发布方法还包括权限鉴定：第一服务器调用第二服务器进行联合推理时，第二服务器判断第一服务器有无权限联合本方进行推理。

作为可选择的实施方式，服务发布方法还包括路由转发：预先构建包括第一服务器和第二服务器的路由表，通过路由表转发数据到不同的服务器。

作为可选择的实施方式，模型加载后，第一服务器接收模型绑定请求，根据模型绑定请求将联邦学习模型与服务名称进行绑定。

第二方面，本发明提供一种联邦学习模型服务发布系统，包括：第一服务器和第二服务器；第一服务器和第二服务器包括服务代理模块和模型服务模块；

第一服务器的服务代理模块接收模型加载请求，并将模型加载请求发送至第二服务器；

第二服务器的服务代理模块接收模型加载请求；

第一服务器和第二服务器的模型服务模块根据模型加载请求在模型仓库中调用联邦学习模型，以将其加载至各自的存储模块中；

第一服务器的服务代理模块接收包括推理特征和服务名称的服务指令，发送包括特征ID和模型ID的推理指令至第二服务器；

第一服务器的模型服务模块根据服务名称在存储模块中调用目标联邦学习模型，基于推理特征采用目标联邦学习模型得到第一推理结果；

第二服务器的模型服务模块根据推理指令调用推理特征和目标联邦学习模型，并基于推理特征和目标联邦学习模型得到第二推理结果；

第一服务器的模型服务模块将第一推理结果和第二推理结果集成后通过服务代理模块进行推理服务结果的发布。

作为可选择的实施方式，所述第一服务器和第二服务器的服务代理模块通过RESTAPI接口形式对外提供服务，所述第一服务器和第二服务器的模型服务模块通过GRPC接口形式对外提供服务。

作为可选择的实施方式，所述第一服务器和第二服务器的模型服务模块包括模型绑定、模型加载、模型解绑、模型删除。

作为可选择的实施方式，所述第一服务器和第二服务器的模型服务模块基于分布式存储系统、主从选举组件及注册中心组件实现基于多副本的高可用。

与现有技术相比，本发明的有益效果为：

本发明解决了联邦学习模型快速发布及在线使用的问题，且通过设置多个副本能够在实现高并发、低延迟、高可用的在线联邦推理的同时，减少开发成本和维护成本。

本发明通过第一服务器与第二服务器的联合推理实现模型服务，所有服务器仅对本方的特征数据进行本地推理，第一服务器通过特征ID和模型ID发送指令至第二服务器，且第二服务器也只是反馈推理结果，任意一方服务器的数据均不会泄露给其他服务器，第一服务器会把所有服务器的本地推理的结果进行合并得到全局推理结果。模型推理、数据的使用不会超出本地安全网络边界，有效避免数据的传播或泄露，保证用户隐私和数据安全，且多个副本满足系统的高可用。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的联邦学习模型服务发布方法中各参与方示意图；

图2为本发明实施例2提供的联邦学习模型服务发布系统模块及功能示意图；

图3为本发明实施例2提供的模型发布示意图；

图4为本发明实施例2提供的联邦推理示意图；

图5为本发明实施例2提供的高可用联邦推理系统架构图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提供一种联邦学习模型服务发布方法，包括：

优选地，第一参与方服务器和第二参与方服务器均包含两个或两个以上的副本，实现系统的高可用。

在本实施例中，随机选择一个第一参与方服务器的副本接收模型加载请求和服务指令，下载联邦学习模型，进行本地推理；同时，并行随机调用第二参与方服务器的副本进行本地推理。

优选地，第一参与方服务器本地推理的同时，调用执行第二参与方服务器的本地推理，将第二参与方特征标识ID及模型ID信息打包为推理指令发送给第二参与方的任意一个副本。

在本实施例中，所述调用执行第二参与方服务器的本地推理之前，第二参与方服务器预先构建特征数据库，所述特征数据库可根据特征标识ID查询特征数据。

在本实施例中，所述第二参与方服务器的本地推理过程包括：接收第一参与方服务器的推理指令，从推理指令中获取特征标识ID及模型ID信息，根据特征标识ID从特征数据库调用得到推理特征数据，根据模型ID信息从内存模块中调用指定模型，将推理特征数据输入指定模型，获取模型推理结果。

在本实施例中，第二参与方服务器本地推理完成后，将本地推理结果返回给第一参与方服务器，第一参与方服务器接收到所有参与方服务器推理完成通知后，对所有参与方服务器的推理结果进行集成，得到全局推理结果。

优选地，服务指令根据条数可分为单条推理与批量推理；单条推理指一次请求处理一条数据；批量推理指一次请求处理批量数据，批量请求可提高效率及吞吐量。

优选地，第二参与方服务器至少包括一个。

在本实施例中，该方法还包括请求的路由转发及权限鉴定：权限鉴定包括，第一参与方服务器在调用第二参与方服务器进行联合推理时，第二参与方服务器判断第一参与方服务器有无权限联合本方进行推理。

路由转发包括：预先构建包括各参与方服务器的路由表，并通过路由表中的信息来转发请求到不同的参与方服务器；路由表中的信息可通过配置文件或注册中心获取。

在本实施例中，第一参与方服务器根据模型加载请求解析出所有参与方服务器的信息，将模型加载请求转发到所有参与方服务器；

从模型仓库下载联邦学习模型后，将其加载到内存，并持久化到存储系统，以便在系统重启时会从存储系统中还原模型到内存；

同时，第一参与方服务器接收模型绑定请求，将指定联邦学习模型与唯一的服务名称进行绑定，以对外提供推理服务，此服务名称持久化到存储系统。

实施例2

如图2所示，本实施例提供了一种联邦学习模型服务发布系统，包括：第一服务器和第二服务器；第一服务器和第二服务器包括服务代理模块和模型服务模块；

第二服务器的服务代理模块接收模型加载请求；

优选地，第一参与方服务器和第二参与方服务器均包括两个或两个以上的副本，且第二参与方服务器至少包括一个。

如图3所示，模型加载过程具体包括：

步骤1，用户向第一参与方服务器的服务代理模块发起模型加载请求；

步骤2，第一参与方服务器的服务代理模块解析出所有参与方服务器的信息，将模型加载请求转发到所有参与方服务器的服务代理模块；

步骤3，服务代理模块将http请求转为grpc请求，转发到对应的模型服务模块；

步骤4，模型服务模块根据模型ID从模型仓库下载联邦训练模型，加载到内存，并持久化到存储系统，模型服务模块重启时从存储系统还原模型到内存；

步骤5，用户向第一参与方服务器的服务代理模块发起模型绑定请求；

步骤6，第一参与方服务器的服务代理模块将模型绑定请求转发到当第一参与方服务器的模型服务模块，模型服务模块将指定模型绑定唯一的服务名称，对外提供推理服务。此服务名称会持久化到存储系统，模型服务模块重启时会从存储系统加载到内存。

如图4所示，推理服务发布流程具体包括：

步骤1，第一参与方服务器的服务代理模块接收服务指令；

步骤2，第一参与方服务器的服务代理模块将服务指令转发到第一参与方服务器的模型服务模块；

步骤3，第一参与方服务器的模型服务模块从服务指令中解析出推理特征数据及服务名称，根据服务名称从内存中得到指定模型，将特征数据传给模型进行本地推理，执行完本地推理后，向当前第一参与方服务器的服务代理模块发起第二参与方服务器的推理指令，此推理指令携带第二参与方服务器的模型标识及特征标识；

步骤4，第一参与方服务器的服务代理模块将推理指令转发到第二参与方服务器的服务代理模块；

步骤5，第二参与方服务器的服务代理模块将推理指令转发到第二参与方服务器的模型服务模块；

步骤6，第二参与方服务器的模型服务模块从推理指令中解析出特征标识及模型标识，根据特征标识从特征数据库中查询得到特征数据，根据模型标识从内存中得到指定模型，将特征数据传给模型进行本地推理，推理执行完成后将结果返回给第二参与方服务器的服务代理模块；

步骤7，第二参与方服务器的服务代理模块将结果返回给第一参与方服务器的服务代理模块；

步骤8，第一参与方服务器的服务代理模块将第二参与方服务器推理结果返回给第一参与方服务器的模型服务模块，第一参与方服务器的模型服务模块合并本地推理结果及第二参与方服务器的推理结果；

步骤9，结果合并完成后，第一参与方服务器的模型服务模块将全局推理结果返回给第一参与方服务器的服务代理模块；

步骤10，第一参与方服务器的服务代理模块拿到全局推理结果后返回给用户。

在本实施例中，所述的服务代理模块通过REST API接口形式对外提供服务。

在本实施例中，所述的服务代理模块还包括请求的路由转发及权限鉴定：权限鉴定指：第一参与方服务器的服务代理模块在调用第二参与方服务器的服务代理模块进行推理时，第二参与方服务器判断第一参与方服务器有无权限联合本方进行推理。

路由转发指：在服务代理模块维护一个各参与方服务器的路由表，并通过路由表中的信息来转发请求到不同的参与方服务器；路由表中的信息可通过配置文件或注册中心获取。

在本实施例中，所述的模型服务模块用于模型管理及在线推理，可通过GRPC接口形式对外提供服务。

在本实施例中，所述的模型服务模块还包括模型加载，各参与方服务器从本方的模型仓库下载模型并加载到内存，生成在线模型。

在本实施例中，所述的模型服务模块还包括模型绑定，第一参与方服务器对内存中的模型绑定唯一的服务名称，此名称需在发起推理请求时指定，用于对外提供服务。

在本实施例中，所述的模型服务模块还包括模型解绑，第一参与方服务器删除内存中模型绑定的服务名称，但在存储系统中保留，下线的模型在服务重启时不会加载；

在本实施例中，所述的模型服务模块还包括模型删除，各参与方服务器删除内存与存储系统中的模型。

优选地，在线模型及服务名称均持久化到存储系统，用于服务重启时模型的加载，防止数据丢失。

在本实施例中，如图5所示，模型服务模块基于分布式存储系统、主从选举组件及注册中心组件实现基于多副本的高可用。模型服务模块启动时从分布式文件系统读取模型信息，然后将自己的地址信息写入到注册中心，同时进行主从选举，竞选出一个主节点和一个或多个从节点；主节点能够写入模型信息到文件系统，防止多节点进行写操作时产生冲突，主节点和从节点都会从文件系统中读取模型信息。注册中心会自动将停止的模型服务模块地址删除，确保服务代理模块从注册中心获取的模型服务模块地址都是可用的。

优选地，分布式存储系统不限于minio、s3、hdfs等，主要用于启动多个模型服务模块时读取相同的模型文件，防止多个模型服务模块之间模型的不一致。

优选地，主从选举组件不限于zookeeper、redis等，基于主从选举组件，实现启动多个副本时，只有一个为主节点，其余的为从节点；主节点能够对模型文件进行读写操作，从节点对模型文件只能进行读操作。

优选地，注册中心组件不限于zookeeper、redis、Eureka、Nacos等，注册中心存储模型服务模块的地址信息，主要用于模型代理模块获取模型服务模块的地址信息。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种联邦学习模型服务发布方法，其特征在于，包括：

2.如权利要求1所述的一种联邦学习模型服务发布方法，其特征在于，第一服务器和第二服务器均包含两个或两个以上的副本。

3.如权利要求1所述的一种联邦学习模型服务发布方法，其特征在于，第二服务器预先构建特征数据库，接收第一服务器发送地推理指令后，根据特征ID在特征数据库调用推理特征。

4.如权利要求1所述的一种联邦学习模型服务发布方法，其特征在于，服务发布方法还包括权限鉴定：第一服务器调用第二服务器进行联合推理时，第二服务器判断第一服务器有无权限联合本方进行推理。

5.如权利要求1所述的一种联邦学习模型服务发布方法，其特征在于，服务发布方法还包括路由转发：预先构建包括第一服务器和第二服务器的路由表，通过路由表转发数据到不同的服务器。

6.如权利要求1所述的一种联邦学习模型服务发布方法，其特征在于，模型加载后，第一服务器接收模型绑定请求，根据模型绑定请求将联邦学习模型与服务名称进行绑定。

7.一种联邦学习模型服务发布系统，其特征在于，包括：第一服务器和第二服务器；第一服务器和第二服务器包括服务代理模块和模型服务模块；

第二服务器的服务代理模块接收模型加载请求；

8.如权利要求7所述的一种联邦学习模型服务发布系统，其特征在于，所述第一服务器和第二服务器的服务代理模块通过REST API接口形式对外提供服务，所述第一服务器和第二服务器的模型服务模块通过GRPC接口形式对外提供服务。

9.如权利要求7所述的一种联邦学习模型服务发布系统，其特征在于，所述第一服务器和第二服务器的模型服务模块包括模型绑定、模型加载、模型解绑、模型删除。

10.如权利要求7所述的一种联邦学习模型服务发布系统，其特征在于，所述第一服务器和第二服务器的模型服务模块基于分布式存储系统、主从选举组件及注册中心组件实现基于多副本的高可用。