CN115981873A - 一种分布式边缘融合算力部署系统 - Google Patents

Abstract

本发明公开了一种分布式边缘融合算力部署系统，包括资源管理器、管理单元、算力单元和边缘设备，所述资源管理器用以监控和指派算力单元的运行状态，并分配和回收空闲的算力单元；所述管理单元用以监控各类设备的运行状态，调度算力和监控资源向对应设备部署和管理任务，并对外提供服务平台；所述算力单元用以根据资源管理器的指令转换工作状态，并根据管理单元指令接收任务；所述边缘设备用以控制内网设备并进行指令转译。本发明将边缘设备的算力和服务器集群算力进行统一，以便进行最佳调度，通过简单接口即可定义框架内模型并自动进行推理部署，以达到标准化部署环境的目的。

Description

一种分布式边缘融合算力部署系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式边缘融合算力部署系统。

背景技术

随着深度学习与人工智能的发展，越来越多的神经网络模型应用于工业产业中。但是由于模型本身的复杂性，其部署流程面临许多困难，主要包括模型推理算力不足、推理平台与训练平台不一致和推理平台多样化等问题。同时，数据的隐私保护也是模型部署过程中的一部分阻力。目前常用的部署方案包括使用服务器集群部署推理集群、使用嵌入式特化计算设备和和模型深度轻量化等。前两种方案忽略了某一端本身的算力资源，造成算力浪费；而第三种方案需要在目标平台上对特定任务进行定制化裁剪，延长开发周期的同时降低了模型的通用性。

目前部署方案的核心问题在于训练平台与推理平台的不匹配和推理平台之间的不共享。模型与训练平台强绑定，不同模型之间需要额外工具用于格式转换和调优；推理平台差异大，很难全部兼顾所有平台；各个推理平台之间算力私有使用，不利于统一调度。

发明内容

本发明的目的是提供一种分布式边缘融合算力部署系统，以解决现有部署方案存在训练平台与推理平台的不匹配和推理平台之间的不共享的技术问题。

本发明是采用以下技术方案实现的：一种分布式边缘融合算力部署系统，包括资源管理器、管理单元、算力单元和边缘设备，所述资源管理器用以监控和指派算力单元的运行状态，并分配和回收空闲的算力单元；所述管理单元用以监控各类设备的运行状态，调度算力和监控资源向对应设备部署和管理任务，并对外提供服务平台；所述算力单元用以根据资源管理器的指令转换工作状态，并根据管理单元指令接收任务；所述边缘设备用以控制内网设备并进行指令转译。

进一步的，还包括存储单元，所述存储单元用以进行数据存储，包括模型、图像和推理结果。

进一步的，所述资源管理器对接算力单元和管理单元，接收算力单元的注册请求，并分配初始状态。

进一步的，所述算力单元包括三种运行状态：空闲、主从和去中心化；在空闲模式下，算力单元处于待机状态，不参与任务分配；在主从模式下，算力单元根据主节点指令进行计算或向从节点部署计算；在去中心化模式下，算力单元根据DRCCP通讯协议进行计算。

进一步的，所述算力单元包括算力Pow子系统、算力计算设备子系统、算力设备状态子系统、算力任务子系统和算力引擎子系统，其中，算力Pow子系统用于实现算力单元集群内通信，转发和协商推理任务；

算力计算设备子系统用于管理物理计算设备和推理引擎，为上层框架提供统一的硬件接口和模型处理方式；

算力设备状态子系统用于与资源管理器通信，确定运行状态；

算力任务子系统用于各类计算任务及其数据流的实际计算；

算力引擎子系统用于管理外部推理引擎，并提供外部推理引擎的外部接口。

进一步的，所述管理单元管理除未分配算力单元之外的全部框架内资源，根据外部任务设定，调度和编排计算任务，并展示可视化控制台，同时对外提供OpenAPI接口。

进一步的，所述管理单元包括管理任务子系统、管理Web子系统、管理OpenAPI子系统、管理边缘设备子系统、管理计算资源子系统和管理引导子系统，其中，管理任务子系统用于管理全局任务部署，并向对应设备部署相关任务，不参与任务计算；

管理Web子系统用于提供可视化的Web操作页面；

管理OpenAPI子系统提供框架的API接口，用于上层应用开发；

管理边缘设备子系统用于管理边缘设备以及对应IPC的状态，发送控制指令；

管理计算资源子系统用于管理已分配可用算力单元的状态，根据空闲算力单元比例动态申请或释放已分配算力单元；

管理引导子系统用于为边缘设备提供引导信息，包括网络状态、管理单元和任务状态。

进一步的，所述边缘设备用以接收框架内部控制指令，并转译为实际设备的控制指令，并按需返回执行结果，同时，根据管理单元的任务部署，进行部分预处理工作。

进一步的，所述边缘设备包括边缘IPC子系统、边缘Web子系统、边缘OpenAPI子系统和边缘任务子系统，其中，边缘IPC子系统用于发现和管理IPC，转译管理单元的控制指令，同时实时监控并上传IPC的视频流、截图等数据以备任务使用；

边缘Web子系统用于提供简易的可视化Web展示页面；

边缘OpenAPI子系统提供边缘设备的API接口，用于上层应用开发；

边缘任务子系统用于进行原始数据的初步预处理，同时承接部分计算任务。

进一步的，所述资源管理器、管理单元、算力单元、存储单元和边缘设备之间的通信均通过鉴权系统实现。

本发明的有益效果在于：本发明将边缘设备的算力和服务器集群算力进行统一，以便进行最佳调度，通过简单接口即可定义框架内模型并自动进行推理部署，以达到标准化部署环境的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明系统框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

实施例1

参见图1，一种分布式边缘融合算力部署系统，包括资源管理器、管理单元、算力单元和边缘设备，所述资源管理器负责监控算力单元的运行状态，指派算力单元的运行状态，分配和回收空闲算力单元；所述管理单元负责各类设备的运行监控，调度算力和监控资源、向对应设备部署和管理任务，提供对外服务平台；所述算力单元负责模型的最终推理，根据资源管理器的指令转换工作状态，并根据管理单元指令接收任务；所述边缘设备负责控制内网设备并进行指令转译，在空闲时负责部分模型的预处理任务，在非联网环境下承担管理单元的部分职责；还包括存储单元，所述存储单元负责数据存储，包括模型、图像和推理结果等。

需要说明的是，本发明的框架内分为五大角色，分别为资源管理器、管理单元、存储单元、算力单元和边缘设备。非特殊说明情况下，在框架内不区分各个角色的实际部署状态，即单机或集群，对于集群部署，框架不限定集群组建方式，需要部署时自行维护。同时，各个角色相互独立，不限制部署在同一物理主机上。

具体的，资源管理器负责对接算力单元和管理单元，接收算力单元的注册请求，并分配初始状态。当管理单元请求算力时，选择空闲算力单元转换为对应状态，并将该算力单元信息返回管理单元。同理，当管理单元归还算力单元时，将对应算力单元转换为空闲状态。

具体的，算力单元包含三种主要运行状态：空闲、主从和去中心化模式。运行模式仅可以通过资源管理器或手动转换，在空闲模式下，算力单元处于待机状态，不参与任务分配；在主从模式下，算力单元根据主节点指令进行计算或向从节点部署计算；在去中心化模式下，算力单元将根据DRCCP通讯协议进行计算。在进行任何一种状态转换时，算力单元将暂停新任务接收，以当前模式处理完成所有等待中任务后，切换至新模式运行。所述DRCCP是一种适用于去中心化算力集群部署的通讯协议，该协议取消了主从节点之间的差别，利用共识机制实现了节点间数据同步和故障迁移等特性。（专利申请号为CN202210008643.5的说明书[0010]-[0025]段中说明的通讯协议）

具体的，存储单元用于存储模型和运行数据。在部署模型时，存储单元无需了解任务细节，仅需根据任务ID传送对应模型即可，数据传输同理。

具体的，边缘设备可以分为数据层和控制层两个平面。在控制层平面上，边缘设备需要接收框架内部控制指令，并转译为实际设备的控制指令，并按需返回执行结果。同时，根据管理单元的任务部署，进行部分预处理工作。

具体的，管理单元管理除未分配算力单元之外的全部框架内资源，根据外部任务设定，调度和编排计算任务，展示可视化控制台，同时对外提供OpenAPI接口。

在本实施例当中，资源管理器包括资源算力单元子系统，算力单元在启动时向资源管理器注册自身状态，并由资源管理器分配初始运行状态。同时接收管理单元的算力单元申请和回收请求，根据请求调整算力单元的运行状态。

算力单元包括算力Pow子系统、算力计算设备子系统、算力设备状态子系统、算力集群监控子系统、算力任务子系统和算力引擎子系统。

算力Pow子系统：用于实现算力单元集群内通信，转发和协商推理任务。

算力计算设备子系统：用于管理物理计算设备和推理引擎，为上层框架提供统一的硬件接口和模型处理方式。

算力设备状态子系统：用于与资源管理器通信，确定运行状态。

算力集群监控子系统（可选）：用于集群中状态监控，实时切换集群状态。

算力任务子系统：用于各类计算任务及其数据流的实际计算。

算力引擎子系统：用于管理外部推理引擎，并提供外部推理引擎的外部接口。

存储单元包括数据存储子系统和存储任务子系统，其中，数据存储子系统：存储单元的文件系统服务，可以根据需求增加集群模型，用于存储各类数据。存储任务子系统：计算任务数据提供和接受存档数据回传。

边缘设备包括边缘IPC子系统、边缘Web子系统、边缘OpenAPI子系统和边缘任务子系统。

边缘IPC子系统：用于发现和管理IPC，转译管理单元的控制指令，同时实时监控并上传IPC的视频流、截图等数据以备任务使用。

边缘Web子系统：用于提供简易的可视化Web展示页面。

边缘OpenAPI子系统：提供边缘设备的API接口，用于上层应用开发。

边缘任务子系统：用于进行原始数据的初步预处理，同时承接部分计算任务，该子系统合并了任务管理和任务计算两个部分的内容。

管理单元包括管理任务子系统、管理Web子系统、管理OpenAPI子系统、管理边缘设备子系统、管理计算资源子系统和管理引导子系统。

管理任务子系统：用于管理全局任务部署，并向对应设备部署相关任务，不参与任务计算。

管理Web子系统：用于提供可视化的Web操作页面。

管理OpenAPI子系统：提供框架的API接口，用于上层应用开发。

管理边缘设备子系统：用于管理边缘设备以及对应IPC的状态，发送控制指令。

管理计算资源子系统：用于管理已分配可用算力单元的状态，根据空闲算力单元比例动态申请或释放已分配算力单元。

管理引导子系统：用于为边缘设备提供引导信息，包括网络状态、管理单元和任务状态等。

在本实施例当中，还包括设备鉴权系统，所有子系统的网关，子系统间通信必须通过鉴权系统，如验证过期则要求重新验证，如验证失败则拒绝提供服务。每种角色的启动流程和基本工作循环如下。流程中序号表达运行优先级，数字更小者优先级更高，更高优先级的流程将会更靠前执行。一般情况下，某一流程执行失败时，重试指定次数后全部流程失败，执行全流程重试，若重试指定次数后仍不成功，全流程执行失败。若流程序号带有*标记，则执行快速失败，立刻执行全流程重试。

资源管理器的工作流程：

启动：初始化设备及鉴权系统，进入准备状态。

运行：1.对任何设备：运行设备鉴权子系统，验证设备身份合法性。2.对算力单元：运行计算设备注册子系统。将算力单元加入调度池，状态设置为空闲。3.对管理单元：运行资源分配子系统。对于资源请求，选择空闲算力资源转入请求状态，并移除可调度池。对于资源回收，将对应算力单元转为空闲状态，并加入可调度池。

停机：1.对任何设备：停止任何对于新设备的子系统请求。2.（可选）对算力单元：转为离线模式，解除注册关系。跳过优先级2的其他流程。2.对空闲算力单元：解除注册状态，移除可调度池。2.对管理单元：不接受新资源分配请求，资源回收正常处理。2.（可选）对管理单元：通知资源管理器停机请求。3.对任何设备：循环执行停止流程，并等待全部算力单元均解除注册关系时，资源管理器正常离线，进入停机状态。

重启：1.执行停机流程。2.执行启动流程。3.执行运行流程。

算力单元的工作流程：

启动：初始化设备状态为空闲，初始化设备鉴权系统，初始化本地计算设备。

运行：1.对任何设备：运行设备鉴权子系统，验证设备身份合法性。2.（初始化）对资源管理器：运行算力设备注册子系统，向资源管理器尝试注册。注册失败则进入DRCCP子系统模式，注册成功则进入资源管理器指定状态。2.（初始化）对手动操作：强制转换成指定模式，在退出手动模式前不执行注册。3.对本地任务：提交至本地计算设备。3.（互斥）对主节点：提交任务结果。3.（互斥）对从节点：分发任务，获取任务结果。3.（互斥）对DRCCP任务：运行DRCCP(2)子系统，根据子系统执行分发和计算。

停机：1.对资源管理器：转为离线模式。1.对设备状态：转为空闲状态。1.对集群：停止接收新任务。2.（可选）对集群：处理完成所有已提交任务。2.对集群：转为离线状态。

重启：1.对任何设备：停止接收新任务。2.（可选）对集群：处理完成所有已提交任务。2.对集群：设备下线，清空所有任务，清空所有状态数据。3.对集群：重新执行加入流程。4.对任何设备：恢复接收新任务。

存储单元的工作流程：

启动：初始化文件系统，初始化设备，初始化设备鉴权系统，初始化Web数据库等相关数据。

运行：1.对任何设备：运行设备鉴权子系统，验证设备身份合法性。2.对数据操作：访问内部文件系统，定位文件位置并进行操作。3.对Web请求：按照标准Web服务端流程执行。

停机：1.对任何设备：拒绝任何请求。2.（可选）对集群：停止任何服务。3.对内部文件系统：刷新内存数据，文件系统服务离线。

重启：1.对任何设备：拒绝任何请求。2.（可选）对集群：停止任何服务。3.对内部文件系统：刷新内存数据，重启文件系统服务，预热缓存。4.（可选，依赖2）对集群：注册文件系统服务。5.对任何设备：恢复接收请求。

边缘设备的工作流程

启动：初始化计算和其他设备，初始化设备鉴权系统，初始化嵌入式Web系统，初始化Onvif子系统。

运行：1.对任何设备：运行设备鉴权子系统，验证设备身份合法性。2.（初始化）运行网络初始化，寻找管理单元。2.（初始化）运行Onvif搜索，初始化IPC列表。3.对IPC：转译Onvif指令。3.对管理单元：转发Onvif执行结果，边缘计算任务通信。3.对存储单元：获取任务数据，存档数据上传。3.对算力单元：溢出任务上报。

停机：1.对任何设备：设备离线。2.对管理单元：停止接受新任务，原有任务标记为溢出任务。2.对存储单元：上报当前全部任务数据。2.对算力单元：上报溢出任务。

重启：1.执行停机流程。2.执行启动流程。

管理单元的工作流程：

启动：初始化设备鉴权系统，初始化嵌入式Web系统，初始化Onvif管理系统、任务管理系统和算力分配系统等管理类子系统。

运行：1.对任何设备：运行设备鉴权子系统，验证设备身份合法性。2.对边缘设备：同步框架内网络状态。3.对资源管理器：申请不足算力，释放空闲算力。3.对边缘设备：发送Onvif控制指令。3.对存储设备：协商任务部署，获取任务执行结果。3.对算力单元：部署任务，获取任务执行结果。

停机：1.对任何设备：不接受任何新请求。2.对边缘设备，对存储设备，对算力单元：撤销任务（或转移至其他管理单元）。3.对资源管理器：释放全部算力单元。

重启：1.执行停机流程。2.执行启动流程。

需要说明的是，对于前述的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例属于优选实施例，所涉及的动作并不一定是本申请所必须的。

上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种分布式边缘融合算力部署系统，其特征在于，包括资源管理器、管理单元、算力单元和边缘设备，所述资源管理器用以监控和指派算力单元的运行状态，并分配和回收空闲的算力单元；所述管理单元用以监控各类设备的运行状态，调度算力和监控资源向对应设备部署和管理任务，并对外提供服务平台；所述算力单元用以根据资源管理器的指令转换工作状态，并根据管理单元指令接收任务；所述边缘设备用以控制内网设备并进行指令转译。

2.如权利要求1所述的一种分布式边缘融合算力部署系统，其特征在于，还包括存储单元，所述存储单元用以进行数据存储，包括模型、图像和推理结果。

3.如权利要求2所述的一种分布式边缘融合算力部署系统，其特征在于，所述资源管理器对接算力单元和管理单元，接收算力单元的注册请求，并分配初始状态。

4.如权利要求2所述的一种分布式边缘融合算力部署系统，其特征在于，所述算力单元包括三种运行状态：空闲、主从和去中心化；在空闲模式下，算力单元处于待机状态，不参与任务分配；在主从模式下，算力单元根据主节点指令进行计算或向从节点部署计算；在去中心化模式下，算力单元根据DRCCP通讯协议进行计算。

5.如权利要求4所述的一种分布式边缘融合算力部署系统，其特征在于，所述算力单元包括算力Pow子系统、算力计算设备子系统、算力设备状态子系统、算力任务子系统和算力引擎子系统，其中，算力Pow子系统用于实现算力单元集群内通信，转发和协商推理任务；

算力计算设备子系统用于管理物理计算设备和推理引擎，为上层框架提供统一的硬件接口和模型处理方式；

算力设备状态子系统用于与资源管理器通信，确定运行状态；

算力任务子系统用于各类计算任务及其数据流的实际计算；

算力引擎子系统用于管理外部推理引擎，并提供外部推理引擎的外部接口。

6.如权利要求2所述的一种分布式边缘融合算力部署系统，其特征在于，所述管理单元管理除未分配算力单元之外的全部框架内资源，根据外部任务设定，调度和编排计算任务，并展示可视化控制台，同时对外提供OpenAPI接口。

7.如权利要求6所述的一种分布式边缘融合算力部署系统，其特征在于，所述管理单元包括管理任务子系统、管理Web子系统、管理OpenAPI子系统、管理边缘设备子系统、管理计算资源子系统和管理引导子系统，其中，管理任务子系统用于管理全局任务部署，并向对应设备部署相关任务，不参与任务计算；

管理Web子系统用于提供可视化的Web操作页面；

管理OpenAPI子系统提供框架的API接口，用于上层应用开发；

管理边缘设备子系统用于管理边缘设备以及对应IPC的状态，发送控制指令；

管理计算资源子系统用于管理已分配可用算力单元的状态，根据空闲算力单元比例动态申请或释放已分配算力单元；

管理引导子系统用于为边缘设备提供引导信息，包括网络状态、管理单元和任务状态。

8.如权利要求2所述的一种分布式边缘融合算力部署系统，其特征在于，所述边缘设备用以接收框架内部控制指令，并转译为实际设备的控制指令，并按需返回执行结果，同时，根据管理单元的任务部署，进行部分预处理工作。

9.如权利要求8所述的一种分布式边缘融合算力部署系统，其特征在于，所述边缘设备包括边缘IPC子系统、边缘Web子系统、边缘OpenAPI子系统和边缘任务子系统，其中，边缘IPC子系统用于发现和管理IPC，转译管理单元的控制指令，同时实时监控并上传IPC的视频流和截图数据以备任务使用；

边缘Web子系统用于提供简易的可视化Web展示页面；

边缘OpenAPI子系统提供边缘设备的API接口，用于上层应用开发；

边缘任务子系统用于进行原始数据的初步预处理，同时承接部分计算任务。

10.如权利要求2~9任意一项所述的一种分布式边缘融合算力部署系统，其特征在于，所述资源管理器、管理单元、算力单元、存储单元和边缘设备之间的通信均通过鉴权系统实现。

Images