CN112860441A - 面向边缘设备及数据安全的分布式机器学习系统及方法 - Google Patents

面向边缘设备及数据安全的分布式机器学习系统及方法 Download PDF

Info

Publication number
CN112860441A
CN112860441A CN202110268932.4A CN202110268932A CN112860441A CN 112860441 A CN112860441 A CN 112860441A CN 202110268932 A CN202110268932 A CN 202110268932A CN 112860441 A CN112860441 A CN 112860441A
Authority
CN
China
Prior art keywords
machine learning
model
edge
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110268932.4A
Other languages
English (en)
Inventor
马兴敏
蔣鑫龙
王健
赵绪浩
张腾
陈益强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Computing Research Institute Of Shandong Industrial Technology Research Institute
Original Assignee
Intelligent Computing Research Institute Of Shandong Industrial Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Computing Research Institute Of Shandong Industrial Technology Research Institute filed Critical Intelligent Computing Research Institute Of Shandong Industrial Technology Research Institute
Priority to CN202110268932.4A priority Critical patent/CN112860441A/zh
Publication of CN112860441A publication Critical patent/CN112860441A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45587—Isolation or security of virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供了一种面向边缘设备及数据安全的分布式机器学习系统及方法，在云端和边缘端整合了机器学习的数据预处理、模型训练、模型推理服务、模型管理等模块，只需要简单的Web页面操作即可进行机器学习任务，降低了用户使用边缘计算设备进行器学习的难度；配备有GPU或FPGA的边缘端计算设备，能根据上下文调用GPU或FPGA资源，加速训练或推理过程；通过虚拟网络模块打通企业或家庭等内部网络限制，为分布式机器学习训练及推理提供了稳定、安全的联通网络；数据在预处理、训练及推理过程中均不出本地，解决了数据隐私安全的问题；能自动根据上下文信息分发匹配边缘设备软硬件信息的模型或镜像，极大提升了易用性及自动化能力。

Description

面向边缘设备及数据安全的分布式机器学习系统及方法
技术领域
本发明涉及涉及机器学习技术领域，尤其是涉及一种面向边缘设备及数据安全的分布式机器学习系统及方法。
背景技术
近年来，机器学习已经渗透到生活各个领域，在悄然改变着商业及社会生活方式。得益于大数据、云计算、算法模型等领域的突飞猛进，机器学习能力和应用场景得到了极大发展，但在具体落地实践过程中仍有诸多问题亟待解决。首先是计算能力的问题。目前机器学习仍以集中式的训练和推理为主，对训练和推理服务器性能要求较高，尤其是在大数据量、深度学习等场景下，尤为明显。其次，是数据隐私安全问题。大规模数据泄露事件层出不穷，由此引发的个人隐私及数据安全问题愈发严重。据统计，2019 年以来，全球每次数据泄露的平均成本高达 392 万美元。
另一方面，5G、物联网等技术进步极大促进了边缘计算技术的发展，各类边缘计算设备及平台纷纷涌现，向用户提供物联设备的接入、管理、反向控制、数据处理，及基于数据的智能化服务，如设备故障预测、设备节能省电自动调控等功能。边缘计算技术能有效利用海量边缘设备的计算能力、降低请求响应时延；且在数据本地化处理条件下，一定程度上保证数据隐私安全。有效缓解上述机器学习平台计算能力及数据隐私安全问题，并提供即时请求反馈、降低带宽成本等优势，因此如何在边缘计算设备上运行机器学习系统成为了新的研究热点。但边缘计算同样引入了新的问题：一是边缘设备计算架构多样性问题，如CPU的X86、ARM等架构，以及GPU、FPGA等计算设备，机器学习系统需提供统一支持；二是边缘设备间的网络联通性问题，大部分边缘设备放置于公司或家庭局域网内部，无法通过网络直连的方式互联互通。
因此，有必要提供一种新的面向边缘设备及数据安全的分布式机器学习系统及方法，以保证在解决边缘设备计算架构多样性及网络联通前提下，在边缘设备上运行机器学习平台，最终解决机器学习计算能力不足、数据隐私安全问题。
发明内容
本发明的目的在于提供一种面向边缘设备及数据安全的分布式机器学习系统及方法。
根据本发明的一个目的，本发明提供一种面向边缘设备及数据安全的分布式机器学习系统，包括：
一个或多个云端计算设备，其执行指令并存储数据，实现机器学习系统云端模块；
一个或多个边缘端计算设备，其执行指令并存储数据，实现机器学习系统边缘端模块，同时可配备一个或多个GPU或FPGA设备，用于加速模型训练或推理过程；
建立其上的机器学习系统，包括虚拟网络模块，容器编排模块，分布式的数据预处理模块、机器学习训练模块、机器学习推理模块，以及集中式的模型应用注册中心、资源管理控制台、API网关模块，所述数据预处理模块、机器学习训练模块、机器学习推理模块均以容器化方式提供服务，并依托虚拟网络模块及容器编排模块实现服务的运行及交互，所述模型应用注册中心、资源管理控制台对设备、模型、应用进行全生命周期管理与监控。
进一步地，所述的云端计算设备，集中存储训练后的机器学习模型，并根据指令将模型打包为容器进行分发；所述的边缘端计算设备，根据指令进行本地模型训练，接收并存储云端下发的推理应用，在本地提供WEB推理服务；调用GPU或FPGA资源，加速模型训练或推理过程。
进一步地，所述的虚拟网络模块提供动态IP环境下组件虚拟私有网络的功能，使用加密协议保证传输数据的安全性，并通过设备认证技术实现动态网络准入控制。
进一步地，所述的容器编排模块具备容器运行及调度功能，可根据设备资源使用情况及容器运行资源需求，动态伸缩容器规模或调用GPU、FPGA等资源。
进一步地，所述的数据预处理模块根据用户请求信息到模型应用注册中心拉取相应镜像，并由边缘端容器编排模块调度执行相应预处理逻辑；一个或多个边缘端设备对本地数据进行分布式联合数据预处理。
进一步地，所述的机器学习训练模块根据用户请求信息到模型应用注册中心拉取相应镜像，并由边缘端容器编排模块调度执行相应模型训练逻辑；一个或多个边缘端设备对同一模型进行分布式联合训练。
进一步地，所述的机器学习推理模块根据用户请求信息到模型应用注册中心拉取相应镜像，并由边缘端容器编排模块调度执行相应模型推理逻辑；一个或多个边缘端设备对同一推理服务提供分布式支持。
进一步地，所述的模型应用注册中心统一管理模型和应用镜像，存储上传的模型或应用镜像，并自动将模型打包为WEB应用镜像，以存储或分发。
进一步地，所述的资源管理控制台统一监控各云边设备、模型、应用状态，并提供WEB页面对设备、模型、应用等进行操作或发起机器学习任务。
进一步地，所述的API网关模块统一管理云边各个模块对外提供的API接口，并提供认证鉴权、流量控制等服务。
根据本发明的另一个目的，本发明提供上述一种面向边缘设备及数据安全的分布式机器学习方法，包括如下步骤：
S1，边缘端向模型应用注册中心请求数据预处理镜像，并运行该容器服务；该服务根据传入参数对本地数据进行预处理；
S2，边缘端模型训练模块通过联邦机器学习算法，对接收到的预处理数据进行多边缘端、分布式机器学习模型训练，并将训练后的模型推送到模型应用注册中心；
S3，模型应用注册中心接收到边缘端推送的模型后将模型自动打包为WEB应用镜像；
S4，模型应用注册中心版本化存储接收到的模型及打包后的WEB应用镜像；
S5，各边缘端通过机器学习模型应用注册中心申请所需应用镜像，管理中心将镜像推送至边缘端设备，由边缘端运行并提供模型推理服务。
进一步地，S1中，仅对本地数据进行处理，且多个边缘方协同处理本地数据；模型应用注册中心请求信息，下发匹配设备CPU架构（如ARM、X86等）的请求镜像。
进一步地，S2中，联邦机器学习算法包括横向联邦学习和纵向联邦学习；仅对本地数据进行训练，且多个边缘方协同处理本地数据；根据设备资源、设备负载、数据量、训练参数调用GPU资源加速模型训练。
进一步地，S3中，WEB应用可通过REST API接口形式对外提供模型推理服务。
进一步地，S4中，模型应用注册中心提供模型注册、应用分发、认证授权等服务。
进一步地，S5中，边缘端需进行认证授权，仅可拉取运行有权限的模型或应用镜像；根据设备资源、设备负载、服务参数调用FPGA资源加速推理服务；模型应用注册中心请求信息，下发匹配设备CPU架构（如ARM、X86等）的请求镜像。
本发明机器学习系统在云端和边缘端整合了机器学习的数据预处理、模型训练、模型推理服务、模型管理等模块，只需要简单的Web页面操作即可进行机器学习任务，降低了用户使用边缘计算设备进行器学习的难度；有效利用海量边缘端设备的计算能力；配备有GPU或FPGA的边缘端计算设备，能根据上下文调用GPU或FPGA资源，加速训练或推理过程；通过虚拟网络模块打通企业或家庭等内部网络限制，为分布式机器学习训练及推理提供了稳定、安全的联通网络；数据在预处理、训练及推理过程中均不出本地，解决了数据隐私安全的问题；模型应用注册中心在分发模型、应用镜像时，能自动根据上下文信息分发匹配边缘设备软硬件信息的模型或镜像，极大提升了易用性及自动化能力。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一个实施例的机器学习系统边缘端的主要硬件模块示意图；
图2为根据本发明一个实施例的机器学习系统的软件模块示意图；
图3为根据本发明一个实施例的虚拟网络模块与容器编排模块与其他模块间关系的框图；
图4为根据本发明一个实施例执行数据预处理的示例方法的流程图；
图5为根据本发明一个实施例执行机器学习训练的示例方法的流程图；
图6为根据本发明一个实施例执行模型推理服务部署请求的示例方法的流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
如图1、图2和图3所示：
一种面向边缘设备及数据安全的分布式机器学习系统，硬件环境包括云端设备和边缘端设备。云端设备可使用阿里云、华为云等云服务器实例或通过自有服务器实现，且需具备静态公网IP。边缘端设备如图1所示，除CPU、RAM、输入/输出设备、网络设备及存储器外，还可配置GPU集群或FPGA集群，以提高模型训练或推理速度。
本发明的虚拟网络模块和容器编排模块同时运行在云端和边缘端，如图3所示。其中，虚拟网络模块通过隧道协议等网络技术和噪声协议框架等加密技术，形成一个经过加密的虚拟私有网络，保证边缘端设备在不具备静态公网IP的情况下，在此网络内进行安全的互联互通，并执行机器学习训练推理等任务。其中，容器编排模块建立在虚拟私有网络之上，可使用KubeEdge、K3s等轻量级容器编排工具实现云边设备的协同管理，为上层机器学习系统功能提供基础架构支持。如数据预处理模块、机器学习推理模块等从模型应用注册中心拉取的镜像可通过容器编排模块以容器方式运行并将实际工作委派给相关容器执行，实现任务逻辑的模块化、伸缩化、自动化调度运行。
本发明的其他软件模块以虚拟网络模块和容器编排模块为基础，包括云端模块和边缘端模块两部分，如图2所示。云端模块主要用于集中化的操作，其中模型应用注册中心使用harbor、seldon-core等开源框架实现，统一管理各个边缘端用到的模型、数据预处理镜像及推理服务镜像；资源管理控制台可使用容器编排模块、机器学习训练模块等其他模块提供的API接口，统一监控各云边设备、模型、应用状态，并提供WEB页面对设备、模型、应用等进行操作或发起机器学习任务。
边缘端模块主要用于分布式的数据预处理、机器学习训练及推理等操作。其中数据预处理模块和机器学习推理模块作为任务代理，将实际工作委派给数据预处理容器和机器学习推理容器进行处理。机器学习训练模块可使用fate、pysyft等联邦学习框架实现分布式的联邦机器学习训练。
实施例2
如图4、图5和图6所示，
一种面向边缘设备及数据安全的分布式机器学习方法，根据实施例1所提供的机器学习系统软硬件模块，如图4所示，数据预处理的示例方法流程如下：
步骤1：用户发起发起数据预处理请求，指明数据存储位置、所需数据预处理模块、数据预处理参数等信息。
步骤2：数据预处理模块接收数据存储位置、所需数据预处理模块、数据预处理参数等信息。
步骤3：数据预处理模块根据所需数据预处理模块、设备资源等信息，向模型应用注册中心发起请求获取数据预处理应用镜像。
步骤4：模型应用注册中心接收镜像请求信息，并验证权限，若无相关权限则向边缘端返回拒绝服务响应；若有相关权限则继续往下执行。
步骤5: 根据请求信息，下发匹配设备CPU架构的请求镜像。
步骤6：容器编排模块接收镜像并启动容器。
步骤7：数据预处理容器根据数据存储位置、数据预处理参数等信息执行数据预处理操作，并返回执行成功信息。
步骤8：用户接收成功信息，并可根据返回信息到指定目录下获取处理完后的数据。
根据实施例1所提供的机器学习系统软硬件模块，如图5所示，机器学习训练的示例方法流程如下：
步骤1：用户发起模型训练请求，指明训练数据存储位置、算法模型、模型训练参数等信息。
步骤2：机器学习训练模块接收数据存储位置、算法模型、模型训练参数等信息。
步骤3：数据预处理模块根据所需数据预处理模块、设备资源等信息，向模型应用注册中心发起请求获取数据预处理应用镜像。
步骤4：模型应用注册中心接收模型请求信息，并验证权限，若无相关权限则向边缘端返回拒绝服务响应；若有相关权限则继续往下执行。
步骤5: 根据请求信息，下发请求模型。
步骤6：机器学习训练模块接收模型并加载。
步骤7：机器学习训练模块根据数据存储位置、数据量、训练参数等信息执行模型训练，并可根据设备资源、设备负载等信息调用GPU加速训练过程，最终返回执行成功信息。
步骤8：用户接收成功信息，并可根据返回信息到指定目录下获取训练完后的模型。
根据实施例1所提供的机器学习系统软硬件模块，如图6所示，机器学习推理服务部署的示例方法流程如下：
步骤1：用户发起模型推理服务部署请求，指明推理服务部署参数等信息。
步骤2：机器学习推理模块接收推理服务部署参数等信息。
步骤3：机器学习推理模块根据推理服务部署参数等信息，向模型应用注册中心发起请求获取应用镜像。
步骤4：模型应用注册中心接收镜像请求信息，并验证权限，若无相关权限则向边缘端返回拒绝服务响应；若有相关权限则继续往下执行。
步骤5: 根据请求信息，下发匹配设备CPU架构的请求镜像。
步骤6：机器学习推理模块接收镜像并启动容器，返回推理服务启动成功信息。
步骤7：用户接收成功信息，并可根据返回信息使用已部署成功的模型推理服务。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.面向边缘设备及数据安全的分布式机器学习系统，包括：
一个或多个云端计算设备，其执行指令并存储数据，实现机器学习系统云端模块；
一个或多个边缘端计算设备，其执行指令并存储数据，实现机器学习系统边缘端模块，同时可配备一个或多个GPU或FPGA设备，用于加速模型训练或推理过程；
建立其上的机器学习系统，包括虚拟网络模块，容器编排模块，分布式的数据预处理模块、机器学习训练模块、机器学习推理模块，以及集中式的模型应用注册中心、资源管理控制台、API网关模块，所述数据预处理模块、机器学习训练模块、机器学习推理模块均以容器化方式提供服务，并依托虚拟网络模块及容器编排模块实现服务的运行及交互，所述模型应用注册中心、资源管理控制台对设备、模型、应用进行全生命周期管理与监控。
2.根据权利要求1所述的面向边缘设备及数据安全的分布式机器学习系统，其特征在于：所述的云端计算设备，集中存储训练后的机器学习模型，并根据指令将模型打包为容器进行分发；所述的边缘端计算设备，根据指令进行本地模型训练，接收并存储云端下发的推理应用，在本地提供WEB推理服务；调用GPU或FPGA资源，加速模型训练或推理过程；
所述的虚拟网络模块提供动态IP环境下组建虚拟私有网络的功能，使用加密协议保证传输数据的安全性，并通过设备认证技术实现动态网络准入控制；
所述的容器编排模块具备容器运行及调度功能，可根据设备资源使用情况及容器运行资源需求，动态伸缩容器规模或调用GPU、FPGA等资源。
3.根据权利要求2所述的面向边缘设备及数据安全的分布式机器学习系统，其特征在于：所述的数据预处理模块根据用户请求信息到模型应用注册中心拉取相应镜像，并由边缘端容器编排模块调度执行相应预处理逻辑；一个或多个边缘端设备对本地数据进行分布式联合数据预处理。
4.根据权利要求2所述的面向边缘设备及数据安全的分布式机器学习系统，其特征在于：所述的机器学习训练模块根据用户请求信息到模型应用注册中心拉取相应镜像，并由边缘端容器编排模块调度执行相应模型训练逻辑；一个或多个边缘端设备对同一模型进行分布式联合训练。
5.根据权利要求2所述的面向边缘设备及数据安全的分布式机器学习系统，其特征在于：所述的机器学习推理模块根据用户请求信息到模型应用注册中心拉取相应镜像，并由边缘端容器编排模块调度执行相应模型推理逻辑；一个或多个边缘端设备对同一推理服务提供分布式支持。
6.根据权利要求1所述的面向边缘设备及数据安全的分布式机器学习系统，其特征在于：所述的模型应用注册中心统一管理模型和应用镜像，存储上传的模型或应用镜像，并自动将模型打包为WEB应用镜像，以存储或分发；
所述的资源管理控制台统一监控各云边设备、模型、应用状态，并提供WEB页面对设备、模型、应用等进行操作或发起机器学习任务；
所述的API网关模块统一管理云边各个模块对外提供的API接口，并提供认证鉴权、流量控制服务。
7.面向边缘设备及数据安全的分布式机器学习方法，其特征在于：包括如下步骤：
S1，边缘端向模型应用注册中心请求数据预处理镜像，并运行该容器服务；该服务根据传入参数对本地数据进行预处理；
S2，边缘端模型训练模块通过联邦机器学习算法，对接收到的预处理数据进行多边缘端、分布式机器学习模型训练，并将训练后的模型推送到模型应用注册中心；
S3，模型应用注册中心接收到边缘端推送的模型后将模型自动打包为WEB应用镜像；
S4，模型应用注册中心版本化存储接收到的模型及打包后的WEB应用镜像；
S5，各边缘端通过机器学习模型应用注册中心申请所需应用镜像，管理中心将镜像推送至边缘端设备，由边缘端运行并提供模型推理服务。
8.根据权利要求7所述的面向边缘设备及数据安全的分布式机器学习方法，其特征在于：S1中，仅对本地数据进行处理，且多个边缘方协同处理本地数据；模型应用注册中心请求信息，下发匹配设备CPU架构的请求镜像；
S2中，联邦机器学习算法包括横向联邦学习和纵向联邦学习；仅对本地数据进行训练，且多个边缘方协同处理本地数据；根据设备资源、设备负载、数据量、训练参数调用GPU资源加速模型训练。
9.根据权利要求7所述的面向边缘设备及数据安全的分布式机器学习方法，其特征在于：S3中，WEB应用可通过REST API接口形式对外提供模型推理服务；S4中，模型应用注册中心提供模型注册、应用分发、认证授权等服务。
10.根据权利要求7所述的面向边缘设备及数据安全的分布式机器学习方法，其特征在于：S5中，边缘端需进行认证授权，仅可拉取运行有权限的模型或应用镜像；根据设备资源、设备负载、服务参数调用FPGA资源加速推理服务；模型应用注册中心根据请求信息，下发匹配设备CPU架构的请求镜像。
CN202110268932.4A 2021-03-12 2021-03-12 面向边缘设备及数据安全的分布式机器学习系统及方法 Withdrawn CN112860441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110268932.4A CN112860441A (zh) 2021-03-12 2021-03-12 面向边缘设备及数据安全的分布式机器学习系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110268932.4A CN112860441A (zh) 2021-03-12 2021-03-12 面向边缘设备及数据安全的分布式机器学习系统及方法

Publications (1)

Publication Number Publication Date
CN112860441A true CN112860441A (zh) 2021-05-28

Family

ID=75994282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110268932.4A Withdrawn CN112860441A (zh) 2021-03-12 2021-03-12 面向边缘设备及数据安全的分布式机器学习系统及方法

Country Status (1)

Country Link
CN (1) CN112860441A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570071A (zh) * 2021-08-09 2021-10-29 山东产业技术研究院智能计算研究院 一种联邦学习模型服务发布方法及系统
CN113766019A (zh) * 2021-09-01 2021-12-07 江苏信臣健康科技股份有限公司 基于云端以及边缘计算相结合的物联网系统
CN114881233A (zh) * 2022-04-20 2022-08-09 深圳市魔数智擎人工智能有限公司 一种基于容器的分布式模型推理服务方法
CN115499307A (zh) * 2022-08-05 2022-12-20 中山大学 面向边缘联邦学习部署架构、方法、装置及存储介质
CN115829064A (zh) * 2023-02-17 2023-03-21 山东浪潮科学研究院有限公司 一种联邦学习加速方法、装置、设备及存储介质
CN115981873A (zh) * 2023-03-20 2023-04-18 天津大学四川创新研究院 一种分布式边缘融合算力部署系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570071A (zh) * 2021-08-09 2021-10-29 山东产业技术研究院智能计算研究院 一种联邦学习模型服务发布方法及系统
CN113766019A (zh) * 2021-09-01 2021-12-07 江苏信臣健康科技股份有限公司 基于云端以及边缘计算相结合的物联网系统
CN113766019B (zh) * 2021-09-01 2024-04-30 江苏信臣健康科技股份有限公司 基于云端以及边缘计算相结合的物联网系统
CN114881233A (zh) * 2022-04-20 2022-08-09 深圳市魔数智擎人工智能有限公司 一种基于容器的分布式模型推理服务方法
CN115499307A (zh) * 2022-08-05 2022-12-20 中山大学 面向边缘联邦学习部署架构、方法、装置及存储介质
CN115829064A (zh) * 2023-02-17 2023-03-21 山东浪潮科学研究院有限公司 一种联邦学习加速方法、装置、设备及存储介质
CN115981873A (zh) * 2023-03-20 2023-04-18 天津大学四川创新研究院 一种分布式边缘融合算力部署系统
CN115981873B (zh) * 2023-03-20 2023-05-30 天津大学四川创新研究院 一种分布式边缘融合算力部署系统

Similar Documents

Publication Publication Date Title
CN112860441A (zh) 面向边缘设备及数据安全的分布式机器学习系统及方法
CN107087019A (zh) 一种端云协同计算架构及任务调度装置及方法
Lo'ai et al. A mobile cloud computing model using the cloudlet scheme for big data applications
CN103038749B (zh) 为了优化群集特定配置的使用而按进程类型在群集之间分割进程
Lo'Ai et al. Cloudlet-based mobile cloud computing for healthcare applications
CN114500623B (zh) 网络靶场互联互通方法、装置、设备及可读存储介质
Zhang et al. A survey of computational offloading in mobile cloud computing
CN110308986B (zh) 基于优化调度的容器云上分布式训练数据通信的方法
CN110308987B (zh) 一种更新容器云上分布式训练任务连接参数的方法
AlShahwan et al. Security framework for RESTful mobile cloud computing Web services
Abusaimeh Computation Offloading for Mobile Cloud Computing Frameworks and Techniques
Dootio et al. Secure and failure hybrid delay enabled a lightweight RPC and SHDS schemes in Industry 4.0 aware IIoHT enabled fog computing
Giannoutakis et al. Next generation cloud architectures
CN110532060A (zh) 一种混合网络环境数据采集方法及系统
Guo et al. Mobile agent‐based service migration in mobile edge computing
CN107426728A (zh) 高性能接入认证处理方法、系统、控制器设备、组网装置
CN116132420A (zh) 一种面向通用互联网平台的集群密码加速方法及装置
Tejedor et al. An architecture for attacking the bottleneck communication in P systems
Gallo et al. Climbos: A modular nfv cloud backend for the internet of things
Pu et al. An environment-aware and dynamic compression-based approach for edge computing service migration
Hao et al. Mobile cloud computing: the state of art, application scenarios and challenges
Sun et al. A microservices oriented edge computing framework for LVC simulation in the IoT Era
CN117076057B (zh) 一种ai服务请求调度的方法、装置、设备及介质
Liu et al. A Blockchain-based Mobile Core Network Architecture with Aggregated Control Plane
Zou et al. Design and research on resource management of scale edge data center

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210528

WW01 Invention patent application withdrawn after publication