CN112272234B - 一种实现边云协同智能即服务的平台管理系统及方法 - Google Patents

一种实现边云协同智能即服务的平台管理系统及方法 Download PDF

Info

Publication number
CN112272234B
CN112272234B CN202011152355.4A CN202011152355A CN112272234B CN 112272234 B CN112272234 B CN 112272234B CN 202011152355 A CN202011152355 A CN 202011152355A CN 112272234 B CN112272234 B CN 112272234B
Authority
CN
China
Prior art keywords
application
controller
component
edge cloud
interface service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011152355.4A
Other languages
English (en)
Other versions
CN112272234A (zh
Inventor
杨树森
赵鹏
王路辉
高远方
韩青
王艺蒙
贾根龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Cumulus Technology Co ltd
Original Assignee
Hangzhou Cumulus Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Cumulus Technology Co ltd filed Critical Hangzhou Cumulus Technology Co ltd
Priority to CN202011152355.4A priority Critical patent/CN112272234B/zh
Publication of CN112272234A publication Critical patent/CN112272234A/zh
Application granted granted Critical
Publication of CN112272234B publication Critical patent/CN112272234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/502Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种实现边云协同智能即服务的平台管理系统及方法,其特征在于,包括接口服务模块、控制器、编排器、MQTT消息中间件、节点代理、镜像仓库、数据库和用户接口;用户接口、数据库、控制器和编排器均连接到接口服务模块,控制器还连接有MQTT消息中间件,MQTT消息中间件连接节点代理,MQTT消息中间件连接接口服务模块;本发明公开的一种实现边云协同智能即服务的平台管理系统,提供了适用于通用边云协同智能应用的应用描述方式,通过所述描述方式的包含信息完整表示复杂跨边云人工智能应用的数据处理逻辑以及部署方案,进一步地,通过所述平台组件提供便捷的接口支持对基础设施和应用生命周期的高效控制。

Description

一种实现边云协同智能即服务的平台管理系统及方法
技术领域
本发明属于边缘计算技术领域,具体涉及一种实现边云协同智能即服务的平台管理系统及方法。
背景技术
边缘计算是最近几年比较热门的研究领域,旨在充分利用网络边缘的计算、存储和网络资源为用户提供低端到端延迟、低网络带宽开销和本地隐私保护的服务,有学者认为它作为云计算的补充、很好地延伸了云计算的服务能力范围。
而边缘智能,或者说边云协同智能,旨在充分结合云数据中心和边缘网络上的计算、存储、网络资源实现分布式机器学习系统在延迟、带宽、隐私等方面的优化部署。云计算、边缘计算和机器学习三者的有机融合即边云协同智能十分具有发展前景,现已广泛应用于工业物联网、智能电网、智能交通等场景,基于多模型协同推理的视频查询以及联邦学习等应用均为典型的边云协同智能应用。云计算和边缘计算为边云协同智能提供了基础设施及运行环境,机器学习则为边云协同智能带来了丰富的智能应用工作负载。
然而,由于边云协同智能应用具有地理分布与网络分布的特殊性以及人工智能算法的逻辑复杂性与多样性,导致开发和运维管理的难度大,应用开发人员需要在设计应用逻辑之外做大量的工作,包括实现跨边云的基础设施管理、跨边云人工智能应用的生命周期管理、以及各类人工智能应用内部的复杂数据通信等。而边云协同智能及服务作为平台及服务中的一类,专注于在跨边云场景赋能人工智能,向应用开发人员提供跨边云基础设施及通用人工智能应用管理、应用数据通信等服务能力。
目前,无论是学术界或是产业界均在平台及服务层对边缘计算系统的设计与开发做了大量的工作,诞生的各类边缘计算系统侧重点各有不同,而绝大多数的边缘计算系统主要考虑的是在边缘侧为用户提供数据清洗、计算、过滤等功能,通过将一部分简单的工作负载下放到边缘侧以实现减低延迟、节省带宽消耗、提高安全性等目的,极少有边缘计算系统重点考虑将云数据中心和边缘网络上的计算、网络、存储资源统一为边云协同智能服务提供基础设施及运行环境。因此,在现有边缘计算系统中存在两个的问题亟待解决:1)如何设计一套对各种边云协同智能应用都通用的应用表示方式;2)如何将异构性强、网络环境不稳定的边缘设备资源与云端设备资源统一管理以支持各类边云协同应用的运行。
发明内容
本发明的目的在于提供一种实现边云协同智能即服务的平台管理系统及方法,以解决上述问题。
为实现上述目的,本发明采用以下技术方案:
一种实现边云协同智能即服务的平台管理系统,包括接口服务模块、控制器、编排器、MQTT消息中间件、节点代理、镜像仓库、数据库和用户接口;用户接口、数据库、控制器和编排器均连接到接口服务模块,控制器还连接有MQTT消息中间件,MQTT消息中间件连接节点代理,MQTT消息中间件连接接口服务模块;
接口服务,是负责连接持久化数据库,向用户提供可访问的、统一用户、节点、应用管理以及鉴权接口;
控制器,负责提供系统组件、用户、节点、应用的生命周期管理和控制;
编排器,负责根据不同的编排策略将应用拓扑转变为部署计划;
MQTT消息中间件,提供用户节点和应用与平台进行高效通信的方式,以及用于基础设施中节点、应用和其他相关插件的全局监控服务;
节点代理,部署在各用户节点上负责控制命令执行以及监控信息的采集上报;
镜像仓库,提供平台的控制器、编排器、节点代理组件的系统镜像,以及通用运行时环境镜像和用户提交的应用镜像;
用户接口向用户提供命令行和Web仪表盘来使用该平台。
进一步的,控制器与编排器通过监听接口服务来得知应用、设备等资源的状态变化,根据状态变化进行管理和控制。
进一步的,边云协同智能应用的通用描述方式具体通过一组信息进行应用描述,包括应用名称、应用描述、应用状态、应用拓扑、映射关系和部署计划。
进一步的,负责应用描述的应用拓扑由边云协同智能应用的各个组件及其连接关系构成,各组件包含对应镜像、组件类型、资源占用限制和环境变量信息,描述跨边云的数据处理、协同推理、协同训练的多类人工智能应用。
进一步的,控制器将应用部署计划进行拆分、解析,转化为各个节点对应的应用组件配置文件,下发到节点后,节点代理进行信息装配与控制命令执行。
进一步的,一种实现边云协同智能即服务的平台管理系统的操作方法,包括以下步骤:
步骤1,进行基础设施注册以提供应用的运行环境,包括中心云、边缘云、中心设备和边缘设备;
步骤2,在各节点代理处完成相应的配置,以确保节点代理能连接MQTT消息中间件和镜像仓库;
步骤3,构建并推送应用组件到镜像仓库,此时已完成部署应用的环境要求和组件支持;
步骤4,提交应用拓扑到接口服务以确定应用组件及数据流,接口服务存储拓扑到持久化数据库;
步骤5,提交映射关系发起部署,接口服务存储映射关系到持久化数据库;
步骤6,接口服务修改应用状态为编排中并通知编排器;
步骤7,编排器输入应用拓扑和映射关系返回部署计划,接口服务收到部署计划后存入数据库;
步骤8,接口服务修改应用状态为部署中并通知控制器;
步骤9,控制器输入部署计划后经过解析、拆分得到应用控制器配置文件通过MQTT消息中间件发送到节点代理;
步骤10,节点代理从镜像仓库拉取相应镜像并启动应用控制器组件;
步骤11,节点代理采集主机信息以及应用组件信息通过MQTT消息中间件的Monitor部分发送到接口服务;
步骤12,接口服务判断应用控制器组件已运行后通知控制器继续完成部署;
步骤13,控制器将应用逻辑处理组件配置文件通过MQTT消息中间件发送到节点代理;
步骤14,节点代理从镜像仓库拉取相应镜像并启动应用逻辑处理组件;
步骤15,节点代理采集主机信息以及应用组件信息通过MQTT消息中间件的Monitor部分发送到接口服务;
步骤16,用户可通过接口服务查询应用运行状态,包括所有应用组件、相关设备的资源使用情况;
步骤17,用户通过接口服务发送应用卸载请求;
步骤18,接口服务修改应用状态为卸载中并通知控制器;
步骤19,控制器解析得到与该应用相关的设备信息,将卸载命令通过MQTT消息中间件发送到节点代理;
步骤20,节点代理停止并删除应用组件。
与现有技术相比,本发明有以下技术效果:
本发明公开的一种实现边云协同智能即服务的平台管理系统,提供了适用于通用边云协同智能应用的应用描述方式,通过所述描述方式的包含信息完整表示复杂跨边云人工智能应用的数据处理逻辑以及部署方案,进一步地,通过所述平台组件提供便捷的接口支持对基础设施和应用生命周期的高效控制。
附图说明
图1为采用本发明的平台框架针对的基础设施图;
图2为本发明管理的应用生命周期;
图3为本发明的平台框架示意图;
图4为本发明编排并部署应用的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
一种实现边云协同智能即服务的平台管理系统,在“端—边缘云—中心云”分层结构的基础设施之上,进行边云协同智能应用的统一管理平台,包括的组件有接口服务、控制器、编排器、MQTT消息中间件、节点代理、镜像仓库、数据库、用户接口。
所述基础设施由端设备、边缘云和中心云组成的。端设备是由丰富的物联网传感器/执行器、摄像头、嵌入式开发板等边缘设备组成;边缘云可以由若干边缘节点或私有云组成;中心云可以由若干云节点或云服务组成、也可以是集中的数据中心、公有云。需要说明的是,边缘云之间没有关联,边缘云之间、边缘云与中心云之间的协同都需要通过中心云进行。传统的端边云架构中,关注较多是众多分散的边缘节点或者一个边缘云与中心云之间的关联,而很少考虑边云协同应用中存在边缘节点之间、多个边缘云与中心云之间的协同,而这在跨边云人工智能应用场景中是非常常见的,较复杂处理逻辑的人工智能算法需要多设备资源共同提供算力支撑,所述边缘云的设计满足了一定范围内边缘设备间的协同能力,同时也支持与中心云的数据通信。
所述适用于通用边云协同智能应用的表示方法即通过应用名称、应用描述、应用状态、应用拓扑、映射关系和部署计划实现。应用拓扑作为核心信息描述应用组件所使用镜像、组件类型、需占用资源以及组件间的连接关系,其中组件类型将应用组件分为控制器组件和逻辑处理组件,分别用于对组件的控制管理和对数据的处理,应用拓扑可描述各设计模式下的边云协同智能应用,包括逻辑较简单的数据上行处理、以及逻辑复杂协同推理和协同训练。映射关系中包含具体设备信息与编排策略,通过映射关系可以将应用拓扑中的组件与基础设施进行对应关系的映射,最终得到部署计划,即可直接用于应用的下发部署。本发明可细粒度的管理应用生命周期,应用状态包括未编排、编排中、完成编排、控制器部署中、控制器启动中、逻辑处理组件部署中、逻辑处理组件启动中、运行中、停止中、已停止、卸载中、彻底清理中。
本发明通过所述细粒度的应用状态控制把握应用生命周期,同时所述平台组件协同工作自主根据应用、设备的状态完成任务执行,尽可能较少操作负责度。其中,接口服务连接持久化数据库,向用户提供各类资源的RESTful API接口,作为各用户以及其他组件操作数据库的唯一途径,通过接口服务可管理的资源信息包括用户、边缘云、中心云、节点、应用等,修改资源状态后,接口服务通过WebSocket协议主动通知控制器或编排器,控制器与编排器完成对应的操作行为。
在应用编排阶段,接口服务通过实时监测数据库变化得知应用状态的变化,将状态处于编排中的应用相关信息通过WebSocket通道发送到编排器,其中包括应用拓扑与映射关系,编排器根据映射关系中的具体编排策略完成编排得到部署计划,同样通过WebSocket通道返回给接口服务,接口服务将部署计划写入持久化数据库并更改更新应用状态为完成编排。
进一步的,所述控制器按照相似的方式进行具体操作。在应用部署阶段,控制器将收到应用的部署计划进行解析、拆分,为该应用基础设施上的每一个节点生成相关应用组件的服务配置文件,其中又根据应用组件类型区分为控制器服务配置文件和逻辑处理服务配置文件。
进一步地,控制器会先将控制器服务配置文件通过MQTT消息中间件下发到节点代理,节点代理调启动应用控制器服务(例如可调用Docker Compose实现相关操作),此时,各设备将从所述镜像仓库中拉取应用组件对应的镜像,节点代理实时采集节点与容器的监控信息通过MQTT消息中间件上报到接口服务,若应用控制器服务已全部完成启动,则通知控制器下发逻辑处理服务配置文件,具体流程与前文所述相同。本发明支持二级部署方式可确保应用中负责控制的应用组件在逻辑处理组件启动前已就绪,确保应用控制器组件能有效监听其所在边缘云或中心云中逻辑处理组件的就绪信息。
参考图1,考虑到传统的端边云架构中,多关注于单边缘节点与中心云的协同工作,而实际上,存在大量的边云协同智能应用需要多边缘节点与中心云进行交互协同,此外,还常存在某小范围内多个边缘节点之间的协同。因此,实现边云协同智能即服务的平台架构需要支持各类通用边云协同智能应用,本发明针对“端—边缘云—中心云”三层结构的基础设施,能确保各类边云协同智能应用能部署在此基础设施上。其中,端设备是由丰富的物联网传感器/执行器、摄像头、嵌入式开发板等边缘设备组成,主要负责数据采集,以及一些简单的控制命令执行;边缘云可以由若干边缘节点或私有云组成,任意一个边缘节点都可以连接若干端设备,负责接收端设备采集的数据并在边缘侧进行一定的计算、处理,当然可以向所连接的端设备发送简单的执行操作命令,同时可以与云端进行数据交互,每个边缘云可包含若干边缘节点,要求处于同一边缘云中的边缘节点之间的地理距离和网络距离相对较近,同一边缘云中的边缘节点可直接使用边缘云内部的通信功能完成数据交互,而不需要通过云端;中心云可以由若干云节点或云服务组成、也可以是集中的数据中心、公有云,与边缘云类似,可包含若干云设备,云设备之间可以直接通信,而一个中心云可以与多个边缘云相关联,作为统一的基础设施为边云协同智能应用提供运行环境。
本发明提供了一种边云协同智能应用描述方式并细粒度的进行应用生命周期的管理。适用于通用边云协同智能应用的表示方法的相关信息包括应用名称、应用描述、应用状态、应用拓扑、映射关系和部署计划。应用拓扑核心描述应用的数据处理流程,主要包含两类信息,应用组件信息和应用组件连接关系,其中应用组件信息中包含字段有组件名称、使用镜像、需要赋值到容器中的环境变量、应用组件类型、以及对应用组件占用所在主机的CPU资源和内存资源的具体限制;应用组件连接关系表示各应用组件需要与其他具体应用组件进行数据通信。映射关系描述具体设备信息与编排策略,例如最简单的编排方式为用户直接指定应用组件到需要部署的具体节点,某些应用场景中,某一应用组件需要部署到多个节点中,例如需要进行多摄像头视频处理的应用,可以为每个摄像头对应的边缘节点设备部署相同的应用组件负责视频预处理,因此,为方便用户进行批量部署应用组件,映射关系中的编排策略可以为标签形式,附带某类标签的设备都需要部署某个同样携带该标签的应用组件。而部署计划是由应用拓扑和编排策略生成的,包含应用组件实例信息,即每一个需要在基础设施上部署的应用组件实例的相关信息,在应用拓扑包含信息的基础上添加了应用组件实例需要部署的位置。应用状态描述的是应用处于应用生命周期中的具体阶段,包括未编排、编排中、完成编排、控制器部署中、控制器启动中、逻辑处理组件部署中、逻辑处理组件启动中、运行中、停止中、已停止、卸载中、彻底清理中。
参考图2,这幅图是边云协同智能应用在本发明平台架构中的完整生命周期。开发人员完成边云协同智能应用的设计与编程,需要说明的是,边云协同智能应用开发需要拆分应用为各个应用组件,负责应用各部分各阶段的处理任务,同时需要区分应用组件中的控制器组件与逻辑处理器组件,逻辑处理器组件需要完成具体的数据处理任务,例如模型训练、目标分类、存储结果等,控制器组件负责对逻辑处理组件进行管理和控制,例如,逻辑处理器组件就绪时将上报到状态到所在边缘云或中心云的控制器组件,控制器组件可分为各边缘云的局部控制器以及中心云的全局控制器,局部控制器组件将收集该边缘云组件状态上报到全局控制器,全局控制器得知所有逻辑处理组件准备就绪后,将下发控制命令启动逻辑处理组件的数据处理流程,此外,控制器组件还可以修改逻辑处理组件的环境变量,如调整过滤条件等。
开发人员完成应用设计与编程后,需将源代码带包构建为Docker镜像,以支持应用组件在镜像仓库的持久化存储、较低的运行开销以及跨平台部署特性,完成镜像上传后开发人员任务已完成。
基于本发明的平台架构进行应用部署时,用户需提交应用拓扑,此时应用状态为未编排,进一步地,用户需要完成映射关系的提交,此时平台开始对应用进行编排,完成编排后,将存储部署计划,并开始应用的部署,而应用的部署分为两个阶段,先完成控制器组件部署,在确认控制器组件运行后再部署逻辑处理组件部署,二级部署的方式可确保当逻辑处理组件向控制器组件上报状态时控制器组件已经处于运行中。当应用逻辑处理组件完成启动后,应用状态为运行中,此时,可通过平台提供的接口服务监控应用组件的具体状态,例如占用CPU、内存的大小百分比,或是应用组件的流量统计等。
用户可停止运行中的应用,即停止运行中的所有应用组件,此时应用状态为已停止,可重新启动应用进入部署控制器组件阶段,而启动应用采用与首次部署相同的二级启动方式,先确保控制器组件运行后再启动逻辑处理组件。
用户可卸载运行中的应用,即停止并删除所有应用组件,此时应用状态回到完成编排的状态,如图2所示,可重新进行二级部署。
用户可重新编排运行中的应用,即重新提交映射关系,如图2所示,此时平台将自动卸载原有的应用相关组件,并使用新的映射关系完成编排,应用进入完成编排的状态,可进行二级部署。
用户可彻底删除该应用,重新开始应用的设计与构建。
参考图3,这幅图是本发明实现边云协同智能即服务的平台架构示意图,平台包括的组件有接口服务(API Server)、控制器(Controller)、编排器(Orchestrator)、MQTT消息中间件(MQTT Broker)、节点代理(Agent)、镜像仓库(Registry)、数据库(Database)、用户接口(Interface)。
其中接口服务负责连接持久化数据库,向用户提供可访问的RESTful API接口,进行用户、边缘云、中心云、节点、应用、监控信息、日志等资源的统一管理。
控制器负责提供系统组件、节点、应用的生命周期管理和控制,具体来说,控制器通过WebSocket协议监听接口服务通知,所有需要下发到节点的控制命令,都需要控制器进行命令的下发,包括应用部署控制命令、应用停止控制命令、应用启动控制命令、应用卸载控制命令、应用彻底清理控制、节点清理控制命令,其中应用部署命令和应用启动命令可分为应用控制器组件的部署与启动和应用逻辑处理组件的部署与启动,其中节点清理控制命令用于删除某设备时,完成该平台相关信息数据的删除。
编排器负责根据不同的编排策略将应用拓扑转变为部署计划,例如在多模型协同推理应用场景下,编排器根据策略进行应用逻辑的划分,将结构简单、占用资源少的推理模型组件划分到具体的边缘设备上,将结构复杂的推理模型组件划分至资源丰富的云中心;类似地,在联邦学习应用场景中,负责参数更新的组件划分在云端,而将负责模型训练的联邦学习运行时组件划分到各个具体的边缘设备。编排器与控制器相同通过WebSocket协议保持对接口服务的监听,需要编排时从接口服务获取应用相关信息根据编排策略进行编排,编排策略包括直接编排和标签编排,并将输出的部署计划通过WebSocket协议返回给接口服务。
MQTT消息中间件以MQTT通信协议的方式提供用户节点和应用与平台的高效通信通道,还包含Monitor内部组件用于基础设施中节点、应用和其他相关插件的全局监控服务,负责将采集到的监控信息通过WebSocket协议发送给接口服务。
节点代理部署在各用户节点上保持与平台MQTT消息中间件的连接,负责执行具体的控制命令并完成监控信息的采集上报,其中控制命令包括对各边云协同智能应用组件的部署、启动、停止、卸载等,而监控信息包括整个节点的资源使用情况以及应用组件的资源使用情况。
镜像仓库提供平台控制器、编排器、节点代理等组件的系统镜像、一些通用运行时环境镜像如Python语言环境以及用户提交的应用镜像,此外,平台本身包含常用边云协同算法库,提供包含边云深度学习、边云视频查询、边云小样本学习、联邦多任务学习等多种边云协同智能算法库。节点代理进行应用部署时,将从镜像仓库拉取对应镜像。
用户接口向用户提供命令行和Web仪表盘来使用该平台。
参考图4,这幅图详细描述了用户进行创建应用和卸载应用时,平台各组件协同实现的流程图。详细步骤如下:
步骤1,用户需要进行基础设施注册以提供应用的运行环境,包括中心云、边缘云、中心设备和边缘设备;
步骤2,用户需在各节点代理处完成相应的配置,以确保节点代理能连接MQTT消息中间件和镜像仓库;
步骤3,用户需要构建并推送应用组件到镜像仓库,此时已完成部署应用的环境要求和组件支持;
步骤4,用户提交应用拓扑到接口服务以确定应用组件及数据流,接口服务存储拓扑到持久化数据库;
步骤5,用户需提交映射关系发起部署,接口服务存储映射关系到持久化数据库;
步骤6,接口服务修改应用状态为编排中并通知编排器;
步骤7,编排器输入应用拓扑和映射关系返回部署计划,接口服务收到部署计划后存入数据库;
步骤8,接口服务修改应用状态为部署中并通知控制器;
步骤9、10,控制器输入部署计划后经过解析、拆分得到应用控制器配置文件通过MQTT消息中间件发送到节点代理;
步骤11,节点代理从镜像仓库拉取相应镜像并启动应用控制器组件;
步骤12、13,节点代理采集主机信息以及应用组件信息通过MQTT消息中间件的Monitor部分发送到接口服务;
步骤14,接口服务判断应用控制器组件已运行后通知控制器继续完成部署;
步骤15、16,控制器将应用逻辑处理组件配置文件通过MQTT消息中间件发送到节点代理;
步骤17,节点代理从镜像仓库拉取相应镜像并启动应用逻辑处理组件;
步骤18、19,节点代理采集主机信息以及应用组件信息通过MQTT消息中间件的Monitor部分发送到接口服务;
步骤20,用户可通过接口服务查询应用运行状态,包括所有应用组件、相关设备的资源使用情况;
步骤21,用户通过接口服务发送应用卸载请求;
步骤22,接口服务修改应用状态为卸载中并通知控制器;
步骤23、24,控制器解析得到与该应用相关的设备信息,将卸载命令通过MQTT消息中间件发送到节点代理;
步骤25,节点代理停止并删除应用组件。
需要说明的是,以上所述仅为本发明实施方式的一部分,并非以此限制本发明的保护范围,凡是利用本发明书及附图内容所做的等效结构变化或等效流程,或直接或间接应用在其他相关的系统领域,均同理包括在本发明的保护范围内。

Claims (4)

1.一种实现边云协同智能即服务的平台管理系统,其特征在于,包括接口服务模块、控制器、编排器、MQTT消息中间件、节点代理、镜像仓库、数据库和用户接口;用户接口、数据库、控制器和编排器均连接到接口服务模块,控制器还连接有MQTT消息中间件,MQTT消息中间件连接节点代理,MQTT消息中间件连接接口服务模块;
接口服务,是负责连接持久化数据库,向用户提供可访问的、统一用户、节点、应用管理以及鉴权接口;
控制器,负责提供系统组件、用户、节点、应用的生命周期管理和控制;
编排器,负责根据不同的编排策略将应用拓扑转变为部署计划;
MQTT消息中间件,提供用户节点和应用与平台进行高效通信的方式,以及用于基础设施中节点、应用和其他相关插件的全局监控服务;
节点代理,部署在各用户节点上负责控制命令执行以及监控信息的采集上报;
镜像仓库,提供平台的控制器、编排器、节点代理组件的系统镜像,以及通用运行时环境镜像和用户提交的应用镜像;
用户接口向用户提供命令行和Web仪表盘来使用该平台;
边云协同智能应用的通用描述方式具体通过一组信息进行应用描述,包括应用名称、应用描述、应用状态、应用拓扑、映射关系和部署计划;
负责应用描述的应用拓扑由边云协同智能应用的各个组件及其连接关系构成,各组件包含对应镜像、组件类型、资源占用限制和环境变量信息,描述跨边云的数据处理、协同推理、协同训练的多类人工智能应用;
应用拓扑作为核心信息描述应用组件所使用镜像、组件类型、需占用资源以及组件间的连接关系,其中组件类型将应用组件分为控制器组件和逻辑处理组件,分别用于对组件的控制管理和对数据的处理,应用拓扑可描述各设计模式下的边云协同智能应用,包括逻辑数据上行处理、以及逻辑复杂协同推理和协同训练;映射关系中包含具体设备信息与编排策略,通过映射关系可以将应用拓扑中的组件与基础设施进行对应关系的映射,最终得到部署计划,直接用于应用的下发部署;应用状态包括未编排、编排中、完成编排、控制器部署中、控制器启动中、逻辑处理组件部署中、逻辑处理组件启动中、运行中、停止中、已停止、卸载中、彻底清理中。
2.根据权利要求1所述的一种实现边云协同智能即服务的平台管理系统,其特征在于,控制器与编排器通过监听接口服务来得知应用、设备资源的状态变化,根据状态变化进行管理和控制。
3.根据权利要求1所述的一种实现边云协同智能即服务的平台管理系统,其特征在于,控制器将应用部署计划进行拆分、解析,转化为各个节点对应的应用组件配置文件,下发到节点后,节点代理进行信息装配与控制命令执行。
4.一种实现边云协同智能即服务的平台管理系统的操作方法,其特征在于,基于权利要求1至3任意一项所述的一种实现边云协同智能即服务的平台管理系统,包括以下步骤:
步骤1,进行基础设施注册以提供应用的运行环境,包括中心云、边缘云、中心设备和边缘设备;
步骤2,在各节点代理处完成相应的配置,以确保节点代理能连接MQTT消息中间件和镜像仓库;
步骤3,构建并推送应用组件到镜像仓库,此时已完成部署应用的环境要求和组件支持;
步骤4,提交应用拓扑到接口服务以确定应用组件及数据流,接口服务存储拓扑到持久化数据库;
步骤5,提交映射关系发起部署,接口服务存储映射关系到持久化数据库;
步骤6,接口服务修改应用状态为编排中并通知编排器;
步骤7,编排器输入应用拓扑和映射关系返回部署计划,接口服务收到部署计划后存入数据库;
步骤8,接口服务修改应用状态为部署中并通知控制器;
步骤9,控制器输入部署计划后经过解析、拆分得到应用控制器配置文件通过MQTT消息中间件发送到节点代理;
步骤10,节点代理从镜像仓库拉取相应镜像并启动应用控制器组件;
步骤11,节点代理采集主机信息以及应用组件信息通过MQTT消息中间件的Monitor部分发送到接口服务;
步骤12,接口服务判断应用控制器组件已运行后通知控制器继续完成部署;
步骤13,控制器将应用逻辑处理组件配置文件通过MQTT消息中间件发送到节点代理;
步骤14,节点代理从镜像仓库拉取相应镜像并启动应用逻辑处理组件;
步骤15,节点代理采集主机信息以及应用组件信息通过MQTT消息中间件的Monitor部分发送到接口服务;
步骤16,用户可通过接口服务查询应用运行状态,包括所有应用组件、相关设备的资源使用情况;
步骤17,用户通过接口服务发送应用卸载请求;
步骤18,接口服务修改应用状态为卸载中并通知控制器;
步骤19,控制器解析得到与该应用相关的设备信息,将卸载命令通过MQTT消息中间件发送到节点代理;
步骤20,节点代理停止并删除应用组件。
CN202011152355.4A 2020-10-23 2020-10-23 一种实现边云协同智能即服务的平台管理系统及方法 Active CN112272234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011152355.4A CN112272234B (zh) 2020-10-23 2020-10-23 一种实现边云协同智能即服务的平台管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011152355.4A CN112272234B (zh) 2020-10-23 2020-10-23 一种实现边云协同智能即服务的平台管理系统及方法

Publications (2)

Publication Number Publication Date
CN112272234A CN112272234A (zh) 2021-01-26
CN112272234B true CN112272234B (zh) 2023-02-21

Family

ID=74341080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011152355.4A Active CN112272234B (zh) 2020-10-23 2020-10-23 一种实现边云协同智能即服务的平台管理系统及方法

Country Status (1)

Country Link
CN (1) CN112272234B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114716B (zh) * 2021-02-25 2022-09-09 浙江工商大学 一种边云协同管控系统及方法
CN112995327B (zh) * 2021-03-15 2022-11-15 海尔数字科技(青岛)有限公司 一种云平台系统、工厂端、工业云平台及服务对接系统
CN113342458B (zh) * 2021-04-29 2024-07-09 之江实验室 一种基于容器云的云边协同海量设备和业务批量控制方法
CN113468458B (zh) * 2021-07-22 2022-03-01 辽宁向日葵教育科技有限公司 一种基于web的应用运行方法
CN114567648B (zh) * 2022-03-24 2024-07-02 阿里巴巴(中国)有限公司 分布式云系统
CN114979246B (zh) * 2022-05-18 2024-08-16 京东方科技集团股份有限公司 业务管理方法、系统、配置服务器及边缘计算设备
CN114661246B (zh) * 2022-05-19 2022-09-02 阿里巴巴(中国)有限公司 一种存储控制的方法和装置
CN116719283A (zh) * 2023-06-09 2023-09-08 杭州优稳自动化系统有限公司 一种内生安全的云边协同工控系统架构
CN117270886B (zh) * 2023-11-17 2024-02-06 浪潮通用软件有限公司 一种微服务系统开发部署方法、设备及介质
CN118350046A (zh) * 2024-05-09 2024-07-16 广东技术师范大学 一种可拓展区块链的智能电网的数据隐私保护方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647380A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 用于支持边缘计算的超融合服务器系统
CN111199279A (zh) * 2019-10-30 2020-05-26 山东浪潮人工智能研究院有限公司 一种警务行业云端边缘计算和人工智能融合方法及装置
IT201800021343A1 (it) * 2018-12-28 2020-06-28 Telecom Italia Spa Sistema per fornire un servizio
CN111427664A (zh) * 2020-03-25 2020-07-17 杭州电子科技大学 基于容器的协议解析方法、装置、系统以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201800021343A1 (it) * 2018-12-28 2020-06-28 Telecom Italia Spa Sistema per fornire un servizio
CN110647380A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 用于支持边缘计算的超融合服务器系统
CN111199279A (zh) * 2019-10-30 2020-05-26 山东浪潮人工智能研究院有限公司 一种警务行业云端边缘计算和人工智能融合方法及装置
CN111427664A (zh) * 2020-03-25 2020-07-17 杭州电子科技大学 基于容器的协议解析方法、装置、系统以及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KubeEdge;Xiang Dai;《gitee》;https://gitee.com/cxyVECTOR/KubeEdge/blob/master/README_zh.md;20200526;第1-3页 *
KubeEdge详解;荒漠屠夫赵老四;《jianshu》;https://www.jianshu.com/p/c6fc46563cb6?utm_campaign=haruki&utm_content=note&utm_medium=seo_notes&utm_source=recommendation;20191105;第1-14页 *
云原生边缘计算架构分析;张琦 等;《电信科学》;20191231;第98-109页 *

Also Published As

Publication number Publication date
CN112272234A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112272234B (zh) 一种实现边云协同智能即服务的平台管理系统及方法
Liu et al. A survey on edge computing systems and tools
CN111258744B (zh) 一种基于异构计算的任务处理方法及软硬件框架系统
CN111625354B (zh) 一种边缘计算设备算力的编排方法及其相关设备
CN112585919B (zh) 利用基于云的应用管理技术来管理应用配置状态的方法
Du et al. Robot cloud: Bridging the power of robotics and cloud computing
CN111614785B (zh) 一种基于微容器云的边缘ai计算集群
JP7118726B2 (ja) ワークフローエンジンフレームワーク
US20200409744A1 (en) Workflow engine framework
De Benedetti et al. JarvSis: a distributed scheduler for IoT applications
WO2023124000A1 (zh) 多并发的数据处理方法和装置
Goudarzi et al. Resource management in edge and fog computing using FogBus2 framework
CN117938636B (zh) 智能节点管控服务系统
Long et al. A novel fault-tolerant approach to web service composition upon the edge computing environment
Abbas Realizing the NOSHAPE MAS organizational model: an operational view
CN114490062A (zh) 一种本地磁盘的调度方法、装置、电子设备及存储介质
Anke et al. A service-oriented middleware for integration and management of heterogeneous smart items environments
CN117519972A (zh) Gpu资源管理方法及装置
Cui et al. A mechanism for real-time decision making and system maintenance for resource constrained robotic systems through ReFrESH
CN110083350B (zh) 一种云计算环境下基于rmae的微服务自适应演化方法
Sun et al. A reconfigurable microservice-based migration technique for iot systems
Kunkel et al. DECICE: Device-Edge-Cloud Intelligent Collaboration Framework
Cao et al. A dynamically self-configurable service process engine
Wang et al. Nbuflow: A dataflow based universal task orchestration and offloading platform for low-cost development of IoT systems with cloud-edge-device collaborative computing
CN116112375B (zh) 一种航电嵌入式/非嵌入式联合仿真架构及其设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant