CN114979246A - 业务管理方法、系统、配置服务器及边缘计算设备 - Google Patents

业务管理方法、系统、配置服务器及边缘计算设备 Download PDF

Info

Publication number
CN114979246A
CN114979246A CN202210546081.XA CN202210546081A CN114979246A CN 114979246 A CN114979246 A CN 114979246A CN 202210546081 A CN202210546081 A CN 202210546081A CN 114979246 A CN114979246 A CN 114979246A
Authority
CN
China
Prior art keywords
edge
application
edge computing
configuration
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210546081.XA
Other languages
English (en)
Other versions
CN114979246B (zh
Inventor
张时宜
胡鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210546081.XA priority Critical patent/CN114979246B/zh
Publication of CN114979246A publication Critical patent/CN114979246A/zh
Priority to PCT/CN2023/092262 priority patent/WO2023221781A1/zh
Application granted granted Critical
Publication of CN114979246B publication Critical patent/CN114979246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种业务管理方法、系统、配置服务器及边缘计算设备,系统包括:配置服务器、边缘计算设备、终端设备和显示设备,边缘计算设备、终端设备和显示设备为本地端设备,配置服务器为云端设备,配置服务器提供前端配置页面,通过前端配置页面接收配置信息,配置信息包括边缘计算设备、终端设备以及所需AI服务,AI服务包括一或多个边缘应用;根据配置信息对边缘计算设备进行边缘应用部署;接收边缘计算设备的推理结果;边缘计算设备根据部署的边缘应用获取终端设备的多媒体数据流,进行应用推理,得到推理结果;显示设备根据推理结果进行显示。本公开实施例将智能应用以轻量化的方式从云端部署到边缘,满足用户对智能应用边云协同的业务诉求。

Description

业务管理方法、系统、配置服务器及边缘计算设备
技术领域
本公开实施例涉及但不限于智能系统技术领域,尤其涉及一种业务管理方法、系统、配置服务器及边缘计算设备。
背景技术
边缘计算,是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的边缘设备平台,就近提供最近端服务。其应用程序在边缘侧发起,产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。云端计算,可以实时接收或访问边缘计算的历史数据。
发明内容
本公开实施例提供了一种业务管理方法、系统、配置服务器及边缘计算设备,能够将智能应用以轻量化的方式从云端部署到边缘。
本公开实施例提供了一种业务管理系统,包括配置服务器、边缘计算设备、终端设备和显示设备,所述边缘计算设备、终端设备和显示设备均为本地端设备,所述配置服务器为云端设备,其中:所述配置服务器,被配置为提供前端配置页面,通过前端配置页面接收配置信息,所述配置信息包括边缘计算设备、终端设备以及所需AI服务,所述AI服务包括一个或多个边缘应用;根据所述配置信息,对所述边缘计算设备进行边缘应用部署;接收所述边缘计算设备的推理结果;所述边缘计算设备,被配置为根据部署的边缘应用获取所述终端设备的多媒体数据流,根据获取的多媒体数据流进行应用推理,得到推理结果;所述显示设备,被配置为根据所述推理结果进行显示。
本公开实施例还提供了一种业务管理方法,包括:配置服务器通过前端配置页面接收配置信息,所述配置信息包括边缘计算设备、终端设备以及所需AI服务,所述AI服务包括一个或多个边缘应用;所述配置服务器根据所述配置信息,对所述边缘计算设备进行边缘应用部署;所述配置服务器接收所述边缘计算设备的推理结果。
本公开实施例还提供了一种配置服务器,包括存储器;和耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上任一项所述的业务管理方法的步骤。
本公开实施例还提供了一种业务管理方法,包括:边缘计算设备接收容器镜像文件,所述容器镜像文件包括配置文件、可执行文件、动态库和算法模型;所述边缘计算设备根据所述容器镜像文件进行边缘应用部署;所述边缘计算设备根据部署的边缘应用获取所述终端设备的多媒体数据流,根据获取的多媒体数据流进行应用推理,得到推理结果。
本公开实施例还提供了一种边缘计算设备,包括存储器;和耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上任一项所述的业务管理方法的步骤。
本公开实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上任一项所述的业务管理方法。
本公开实施例的业务管理方法、系统、配置服务器及边缘计算设备,通过边缘计算设备承担起全部核心算力,云端配置服务器只根据用户需求,关联边缘计算设备与终端设备、下发边缘应用以及实时展示绑定的边缘计算设备的监控信息,不参与边缘应用的计算运行过程,即,本公开实施例的边缘应用运行过程全部在边缘端,这种架构设计可以避免向云端频繁请求数据,从而减少数据的不安全性,且减少了网络延时,提高了数据处理效率和速度,该业务管理方法不仅适用于允许公有云参与的场景,同时也适配于仅有内网的私有云的搭建的场景,譬如银行、交通系统、公安系统等。
本公开的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本公开技术方案的理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开的技术方案,并不构成对本公开技术方案的限制。
图1为本公开示例性实施例一种业务管理系统的架构示意图;
图2为本公开示例性实施例一种业务管理方法的流程示意图;
图3为本公开示例性实施例另一种业务管理方法的流程示意图;
图4为本公开示例性实施例又一种业务管理方法的流程示意图;
图5为本公开示例性实施例一种边缘计算设备业务推理流程示意图;
图6为本公开示例性实施例另一种业务管理系统的架构示意图;
图7为本公开示例性实施例一种云端业务和边缘端业务示意图;
图8为本公开示例性实施例另一种云端业务和边缘端业务示意图;
图9为一种K8S的业务框架示意图;
图10为本公开示例性实施例一种物联网边缘服务示意图;
图11为本公开示例性实施例一种业务管理系统的结构示意图;
图12为本公开示例性实施例一种边缘网关的结构示意图;
图13为本公开示例性实施例一种边缘节点管理流程示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,下文中将结合附图对本公开的实施例进行详细说明。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互任意组合。
除非另外定义,本公开实施例公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
如图1所示,本公开实施例提供了一种业务管理系统,包括配置服务器、边缘计算设备、终端设备和显示设备,边缘计算设备、终端设备和显示设备均为本地端设备,配置服务器为云端设备,其中:
配置服务器,被配置为提供前端配置页面,通过前端配置页面接收配置信息,配置信息包括边缘计算设备、终端设备以及所需人工智能(Artificial Intelligence,AI)服务,AI服务包括一个或多个边缘应用;根据配置信息,对边缘计算设备进行边缘应用部署;接收边缘计算设备的推理结果;
边缘计算设备,被配置为根据部署的边缘应用获取终端设备的多媒体数据流,根据获取的多媒体数据流进行应用推理,得到推理结果;
显示设备,被配置为根据推理结果进行显示。
本公开实施例的业务管理系统,通过边缘计算设备承担起全部核心算力,云端配置服务器只根据用户需求,关联边缘计算设备与终端设备、下发边缘应用以及实时展示绑定的边缘计算设备的监控信息,不参与边缘应用的计算运行过程,即,本公开实施例的边缘应用运行过程全部在边缘端,这种架构设计可以避免向云端频繁请求数据,从而减少数据的不安全性,且减少了网络延时,提高了数据处理效率和速度。该业务管理系统不仅适用于允许公有云参与的场景,同时也适配于仅有内网的私有云的搭建的场景,譬如银行、交通系统、公安系统等。
在一些示例性实施方式中,根据配置信息,对边缘计算设备进行边缘应用部署,包括:
根据配置信息,生成配置文件;
获取配置信息中的AI服务对应的可执行文件、动态库和算法模型;
生成边缘应用资源包,边缘应用资源包包括配置文件、可执行文件、动态库和算法模型;
通过网络或存储设备将边缘应用资源包传输至边缘计算设备。
本示例性实施例中,生成的边缘应用资源包可以通过WiFi、蓝牙、局域网等网络传输至边缘计算设备,也可以通过U盘(USB flash disk)等存储设备,直接传输至边缘计算设备。
在另一些示例性实施方式中,根据配置信息,对边缘计算设备进行边缘应用部署,包括:
根据配置信息,生成配置文件;
获取配置信息中的AI服务对应的可执行文件、动态库和算法模型;
根据配置文件、可执行文件、动态库和算法模型形成容器镜像文件;
通过Kubegde(一种使能边缘计算的开放平台)将容器镜像文件下发至边缘计算设备。
本示例性实施例中,整个业务管理系统可以采用KubeEdge架构,通过Kubernetes(简称K8S)标准API在云端管理边缘节点、设备和工作负载,边缘节点的系统升级和应用程序更新都可以直接从云端下发,提升边缘运维效率。边缘计算设备在交付时可以预安装边缘组件(Edge part),成为K8S节点。边缘应用可以通过Kubernetes下发。K8S是一个全新的基于容器技术的分布式架构解决方案,是一个开源的容器集群管理系统。
在一些示例性实施方式中,一个边缘计算设备可以部署多个AI服务,每个AI服务可以通过一个独立的容器实现,从而达到不影响另一服务的情况下,实现新服务的添加、监控和维护。
在一些示例性实施方式中,所述配置服务器还被配置为:
当对边缘应用进行更新时,编译生成新的动态库和/或可执行文件;
根据新的动态库和/或可执行文件形成容器镜像文件;
将容器镜像文件下发至边缘计算设备,以替换当前边缘应用的动态库和/或可执行文件。
容器镜像文件是一个分层文件系统,这个文件系统里面包含可以运行在Linux内核的程序以及相应的数据。本实施例中,容器镜像文件包含动态库和可执行文件。因此,当动态库和/或可执行文件有更新时,可以根据新的动态库和/或可执行文件形成容器镜像文件;将容器镜像文件下发至边缘计算设备,以替换当前边缘应用的动态库和/或可执行文件,这样下发所用时间较少,对程序更新控制较好。
在一些示例性实施方式中,AI服务包括:应用层、检测跟踪层和个性业务层,应用层包括一个或多个应用层模块,检测跟踪层包括一个或多个检测跟踪模块,个性业务层包括一个或多个个性业务模块,每个模块均以插件的形式接入主线程中(不同的模块经过统一接口的规则性开发,可根据客户的不同需求进行插件式的替换)。
示例性的,以VIP识别服务为例,如图1所示,边缘计算设备的主线程包括:持续拉取相应摄像头视频流,进行视频流解码,留存单帧图像,拉取图像信息,通过检测模块获取检测信息,将检测信息传入跟踪模块,得到跟踪信息,然后获取此帧所有人脸跟踪信息,判断是否有人脸,若有,检测人脸关键点,进行人脸校正,检测人脸质量数值,提取人脸特征向量,获取人脸对应的VIP信息,将跟踪框坐标、人脸ID、跟踪ID等信息结构化,并返回应用层模块,应用层模块接收结构体信息,形成Json(JavaScript Object Notation)消息串,通过消息中间件输出至显示设备以及云端配置服务器。实际使用时,个性业务层可以根据不同的AI服务提供不同的个性业务,本公开实施例对此不作限制。
在该主线程中,应用层、检测跟踪层和个性业务层3层相对分离,每一层的每个模块均通过插件结构进行开发。例如,应用层的拉流模块、解码模块等,检测跟踪层的检测模块和跟踪模块,个性业务层的人脸检测模块、人脸关键点算法模块、人脸校正模块、人脸质量算法模块、人脸特征提取算法模块等等,都可以设计成插件的形式,每一插件可替换成不同功能的同层插件,从而减少业务的重复开发,保持每一层功能的清晰,同时使功能的维护更加简易明了。
在一些示例性实施方式中,AI服务包括:根据不同硬件平台的硬件数据包编译的多个动态库。通过在AI服务中包括根据不同硬件平台的硬件数据包编译的多个动态库,可以将不同厂商的硬件通过系统处理后,直接适配并进行推理,从而完成快速开发、快速部署、快速交付的目的。
在一些示例性实施方式中,配置信息中的AI服务包括:服务名称、容器应用的实例数量、镜像名称、镜像版本、容器名称、容器规格以及容器网络类型,容器规格包括CPU配额、内存配额、是否使用AI加速卡、AI加速卡类型,容器网络类型包括端口映射和主机网络。
示例性的,AI加速卡类型可以包括:高性能精简指令集计算机处理器(AdvancedRISC Machines,ARM)移动端或终端、英特尔(Intel)中央处理器(central processingunit,CPU)、英伟达(NVIDIA,一家人工智能计算公司)图形处理器(Graphics ProcessingUnit,GPU)、人工智能(Artificial Intelligence,AI)芯片等。
当AI加速卡类型为ARM移动端或终端时,系统可以选择移动神经网络(MobileNeural Network,MNN)和/或TVM(Tensor Virtual Machine)进行模型加速;当AI加速卡类型为英特尔CPU时,系统可以选择OpenVINO(Open Visual Inference&Neural NetworkOptimization)和/或TVM进行模型加速;当AI加速卡类型为英伟达GPU时,系统可以选择TensorRT/或TVM进行模型加速;当AI加速卡类型使用某个特定的AI芯片厂家的AI芯片时,可以选择该特定的AI芯片厂家加速库进行模型加速。
示例性的,AI芯片厂家加速库可以包括:RKNN、Questcore、君正加速库、BMNNSDK等,其中,RKNN专门用于瑞芯微(Rockchip,一家数字音视频处理芯片公司)嵌入式神经网络处理器(Neural-network Processing Unit,NPU)芯片;Questcore专门用于依图科技(一家网络科技有限公司)的AI芯片;君正加速库专门用于北京君正(一家集成电路股份有限公司)的智能视频芯片;BMNNSDK(BitMain Neural Network SDk)专门用于算能科技(一家科技有限公司)的AI芯片。实际使用时,AI芯片厂家加速库不限于上述列举的这几种类型,本公开对此不作限制。
本公开实施例中,容器网络类型支持端口映射和主机网络两种方式。
其中,在端口映射方式下,容器网络虚拟化隔离,容器拥有单独的虚拟网络,容器与外部通信需要与主机做端口映射。配置端口映射后,流向主机端口的流量会映射到对应的容器端口。例如容器端口80与主机端口8080映射,那主机8080端口的流量会流向容器的80端口。
在主机网络方式下,容器使用宿主机(边缘节点)的网络,即容器与主机间不做网络隔离,使用同一个IP。
在一些示例性实施方式中,该业务管理系统还可以包括边缘网关,其中:
边缘计算设备和终端设备之间通过边缘网关相互连接,边缘网关包括多个可插拔硬件通信协议插件,硬件通信协议包括以下至少之二:5G、4G、WIFI、以太网、无线433MHz频段通信、蓝牙(BT)、红外、紫蜂(ZigBee)。
如图2所示,本公开实施例提供了一种业务管理方法,包括如下步骤:
步骤201:配置服务器通过前端配置页面接收配置信息,配置信息包括边缘计算设备、终端设备以及所需AI服务,AI服务包括一个或多个边缘应用;
步骤202:配置服务器根据配置信息,对边缘计算设备进行边缘应用部署;
步骤203:配置服务器接收边缘计算设备的推理结果。
本公开实施例的业务管理方法,通过根据配置信息,配置相应边缘计算设备及终端设备,下发相应边缘应用,将智能应用以轻量化的方式从云端部署到边缘,满足用户对智能应用边云协同的业务诉求。
在一些示例性实施方式中,所述业务管理方法还包括:
配置服务器获取边缘计算设备的设备监控信息,存储或展示设备监控信息。
本实施例中,配置服务器可监控边缘计算设备的硬件使用情况,可以通过配置页面进行边缘计算设备应用使用情况的展示。
在一些示例性实施方式中,配置服务器位于中心云或私有云中。
本公开实施例的业务管理方法,通过边缘计算设备承担起全部核心算力,云端(示例性的,云端可以为中心云端或位于私有云中的服务器或主机)只根据用户需求,关联边缘计算设备与终端设备、下发边缘应用以及实时展示绑定的边缘计算设备的监控信息,不参与边缘应用的计算运行过程,即,本公开实施例的边缘应用运行过程全部在边缘端,这种架构的设计下,该业务管理方法不仅适用于允许公有云参与的场景,同时也适配于仅有内网的私有云的搭建的场景,譬如银行、交通系统、公安系统等。
本公开实施例还提供了一种配置服务器,包括存储器;和耦接至存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行如本公开任一实施例所述的业务管理方法的步骤。
本公开实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开任一实施例所述的业务管理方法。
如图3所示,本公开实施例还提供了一种业务管理方法,包括如下步骤:
步骤301:边缘计算设备接收容器镜像文件,容器镜像文件包括配置文件、可执行文件、动态库和算法模型;
步骤302:边缘计算设备根据容器镜像文件进行边缘应用部署;
步骤303:边缘计算设备根据部署的边缘应用获取终端设备的多媒体数据流,根据获取的多媒体数据流进行应用推理,得到推理结果。
在一些示例性实施方式中,所述业务管理方法还包括:
步骤304:边缘计算设备将推理结果发送至信发系统,以通过信发系统推送与推理结果相对应的广告信息或告警信息。
本公开实施例中,边缘计算设备可以将推理结果发送至信发系统,信发系统推送与推理结果相对应的广告信息或告警信息至显示设备,也可以直接通过显示设备展示推理结果。
在一些示例性实施方式中,AI服务包括:应用层、检测跟踪层和个性业务层,应用层包括拉流模块、解码模块、守护进程模块和设备监控模块,检测跟踪层包括检测模块和跟踪模块,边缘计算设备根据部署的边缘应用进行应用推理,包括:
边缘计算设备通过拉流模块拉取终端设备的视频流,通过解码模块对视频流进行解码,将单帧图像输出至检测跟踪模块,通过设备监控模块获取设备监控信息,通过守护进程模块监测拉流模块是否正常运行;
边缘计算设备通过检测模块对单帧图像进行目标检测,通过跟踪模块对检测出的目标进行跟踪;
边缘计算设备通过个性业务层的模块接收目标检测信息和跟踪信息,进行个性业务推理。
在一些示例性实施方式中,所述业务管理方法还包括:
边缘计算设备根据硬件类型或用户需求,选择检测模块选用的目标检测模型以及跟踪模块选用的跟踪算法。
在一些示例性实施方式中,边缘计算设备可以为装载ARM架构CPU的边缘计算设备。ARM CPU设备的计算能耗比远远低于X86架构CPU,因此装备ARM CPU的边缘计算设备即使算力稍低但是功耗低和发热量小的特性使其具有了更加优良的环境适应性,在实地部署时不需要专门安装于机房内。而X86架构运算设备则必须配备大功率散热风扇作为其高功率的折中,并且由于大功率散热风扇噪音极大,其必须放入机房内,以保证必要的工作环境。硬件不同,上层所搭建的平台则会不同。
在一些示例性实施方式中,边缘计算设备的算法模型通过插件形式进行封装,边缘计算设备支持X86、ARM、网络处理器(NPU)、GPU等异构硬件。
本实施例中,通过插件的开发形式对适用于不同厂商的边缘计算设备的算法模型进行封装,以兼容不同厂商的边缘计算设备,边缘计算设备支持多种硬件平台的加速推理部署,在使用时减少被硬件限制的场景。本公开实施例将不同厂商的硬件通过处理后,可直接适配并进行推理,完成快速开发、快速部署、快速交付的目的。本公开实施例的业务管理方法,通过不断的试错,总结出了一套兼顾开发效率与推理准确性的移植流程与代码。
示例性的,当将本公开实施例的业务管理方法用于智能广告推荐系统时,该智能广告推荐系统可以包括:配置服务器、边缘计算设备、终端设备与信发系统。如图4所示,智能广告推荐系统的业务管理流程包括:
用户通过配置服务器输入配置信息;
配置服务器根据用户输入的配置信息,下发配置文件和相应功能的边缘应用;
边缘计算设备接收配置文件和安装文件,根据配置文件配置相应边缘计算设备以及终端设备(信发系统设备、摄像头等),边缘计算设备利用安装文件进行边缘应用部署,根据部署的边缘应用进行应用推理,得到推理结果,并发送推理结果信息于信发系统,示例性的,推理结果为性别年龄等信息;
信发系统持续接收边缘计算设备的推理结果信息一段时间后,根据推理结果信息播放观看人群感兴趣的广告,使广告效益最大化。
循环整个应用程序则形成了智能广告推荐系统。
在一些示例性实施方式中,如图5所示,边缘计算设备的推理流程包括:
用户通过前端配置页面配置边缘计算设备、终端设备、所需人工智能(ArtificialIntelligence,AI)应用(即边缘应用);
配置服务器解析用户配置信息,关联相应的边缘计算设备和终端设备,获取边缘计算设备和终端设备的监控信息,生成配置文件,并于AI容器(Container)管理平台中获得相应AI应用所需的可执行文件以及依赖的动态库,并打包文件下发至边缘计算设备;
边缘计算设备接收打包文件,完成配置与AI应用安装;
应用层持续拉取视频流,对拉取的视频流进行解码,根据配置文件开启对应的业务流程并下发相应结构体信息,该结构体信息包括解码出的单帧图像;
检测跟踪层提取单帧图像,通过多目标检测模型获取多目标检测框及对应信息,将检测框传入跟踪算法,得到跟踪ID、跟踪框及其它跟踪信息;
个性业务层获取此帧所有人脸跟踪信息,包括跟踪ID、跟踪框坐标以及此帧原图,判断检测结果中是否有人脸,如果没有,则返回检测跟踪模块,如果有,根据检测到的人脸数量循环利用相应跟踪框坐标与原图抠出人脸,将人脸抠图送入人脸关键点模型,得到人脸关键点,依据人脸关键点进行人脸校正,将矫正后的人脸图传入人脸质量模型,取得人脸质量数值,判断是否为此帧中最高质量人脸,如果否,返回抠出下一个人脸抠图,直到得到此帧中最高质量人脸。判断此帧中最高质量人脸是否超过最低质量阈值,如果否,则返回检测跟踪模块,如果是,根据客户所选业务判断下一步业务流程,例如,假设客户所选业务为性别年龄检测业务,将人脸抠图传入人脸属性模型,得到性别及年龄段;假设客户所选业务为高级会员(Very Important Person,VIP)检测业务,将人脸抠图传入人脸特征提取模型,得到人脸特征信息,将提取的特征信息与VIP特征库进行比对,得到是否为VIP信息。将业务推理结果信息形成结构体,并回传给应用层;
应用层接收业务推理结果形成Json消息串,通过消息中间件发出消息。此处,Json消息串是一种消息信息的保存格式,方便信息格式统一,消息中间件是支持各种消息发送协议的一个模块,例如,MQTT或Kafka等协议;
边缘计算设备运行设备监控可执行文件,获取中央处理器(Central ProcessingUnit,CPU)、图形处理器(graphics processing unit,GPU)、运行内存、硬盘存储、设备温度等信息,形成Json消息串,通过消息中间件发出消息。
通过消息中间件发出的消息可以通过网页进行展示,也可以发送至信发系统,信发系统是一种接收信息并发布命令的终端控制系统,信发系统根据推理结果,推送与推理结果相对应的广告信息或告警信息。
为保证业务中多目标检测跟踪与人脸识别的实时性,多目标检测模型与其他人脸相关模型皆使用TensorRT(一种推理加速器)或比特大陆网络模型压缩工具对模型进行算子融合、核方法(Kernel function)优化、权重量化处理等,在可接受精度损失条件下对吞吐量性能进行优化,以保证在边缘端、小算力计算设备上部署运行时的实时预测能力。
边缘计算设备将最终推理出的结果通过消息中间件发送给信发系统,信发系统在持续接收到边缘计算设备发送出的稳定推理结果后,根据推理结果,将相应的广告图片或者视频投放于广告屏或金融屏,以此实现广告效益最大化。本公开实施例将以人工智能为核心的边缘计算平台与信发系统结合形成了一个可广泛应用的智能广告推荐系统。
本公开实施例将边缘端服务的开发抽象成为边缘计算平台,边缘计算平台的核心为AI应用,每个AI应用在结构上包括3层:应用层、检测跟踪层和个性业务层,保持3层相对分离,形成插件结构。平台中每一插件可替换成不同功能的同层插件,减少业务的重复开发,保持每一层功能的清晰,同时使功能的维护更加简易明了,提升了开发效率,减少开发后排除程序故障(Debug)的困难程度。
本公开实施例将检测(集成了人头、人脸、人体、机动车、非机动车等检测)与跟踪(集成了Sort、DeepSort等跟踪算法)统一成检测跟踪层,作为机器视觉应用于视频流处理的基础服务统一输出检测跟踪结果,便于程序的管理与逻辑的清晰。业务开发人员在开发新业务时不需要担心检测和跟踪的内容,所有的视频流检测跟踪结果会通过检测跟踪层直接输出,开发人员只需从中取得所需内容,完成识别或分类任务即可。此外,检测跟踪层也进行了插件化处理,不同的检测算法和跟踪算法经过统一接口的规则性开发,可根据不同硬件的性能和客户的需求进行插件式的替换,示例性的,当边缘计算设备算力较小时,可选择YOLOv5目标检测算法中参数较小的模型作为统一检测的插件,并辅以计算资源消耗较少的Sort作为跟踪算法;如果边缘计算设备算力较大时,目标检测模型则可选用YOLOv5中的m或s模型,并辅以计算资源消耗较多,但精度较好的DeepSort作为跟踪算法,这样可以减少开发成本,加快开发进度。
本公开实施例通过云端接收到了用户请求后,根据用户请求选择对应的三大层级模块,将三大层级模块(源码不下发,只下发编译好的可执行文件及动态库)下发至各边缘计算设备,所有应用和业务都在边缘计算设备完成,即完成核心计算的所有模块都在边缘端完成,云端只是作为用户配置接口。中心云通过纳管边缘计算设备,并将核心计算下放于边缘计算设备,从而分担中心云的计算负担并且提高整体应用的实时性,可大幅降低部署成本以及开发成本。
本公开实施例的每个AI应用在结构上包括3层:应用层、检测跟踪层和个性业务层,每层包括若干个模块,这些模块以插件的形式接入数据管道(Pipeline,即主线程)中,根据不同的场景,业务需求选择不同的模块接入并编译后形成匹配需求的AI应用,不断补充新的插件以适配更多的业务场景并使平台更加高效稳定。
应用层可以包括解码模块、编码模块、拉流模块、推流模块、设备监控模块、配置管理模块、数据处理模块和守护进程模块等。
本公开提供的AI服务可以包括VIP识别服务、性别鉴别服务、禁区闯入服务、飞鸟驱离服务、热区统计服务等。
个性业务层可以包括多个基础算法模块,示例性的,基础算法模块可以包括人脸关键点算法模块、人脸质量算法模块、人脸属性算法模块、人脸特征提取算法模块、车辆品牌识别算法模块、车辆颜色识别算法模块、光学字符识别(Optical CharacterRecognition,OCR)识别算法模块等。
本公开实施例还提供了一种边缘计算设备,包括存储器;和耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如本公开任一实施例所述的业务管理方法的步骤。
本公开实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开任一实施例所述的业务管理方法。通过执行可执行指令驱动边缘计算设备业务管理的方法与本公开上述实施例提供的业务管理方法基本相同,在此不做赘述。本公开实施例提供了一种基于边缘云的业务管理系统,依托云原生技术构建边云协同系统,可运行在多种边缘计算设备上,将丰富的AI、IoT及数据分析等智能应用以轻量化的方式从云端部署到边缘,满足用户对智能应用边云协同的业务诉求。
用户在云端配置边缘设备、AI功能、摄像头等参数,编辑确认后以容器的形式下发到边缘设备。
边缘计算设备支持X86、ARM、NPU、GPU等异构硬件接入,将中心云的能力延伸到边缘,完成视频智能分析、文字识别、图像识别、大数据流处理等能力,就近提供实时智能分析服务。
边缘计算设备作为边缘节点,安全接入云端,应用数据安全上云。
中心云统一进行管理、监控和运维,兼容原生Kubernetes与Docker生态,支持以容器和函数应用形式管理。
本公开实施例可以提供三种云计算服务模式:基础架构即服务(Infrastructureas a Service,IaaS)、平台即服务(Platform as a Service,PaaS)、软件即服务(Software-as-a-Service,SaaS),本公开实施例通过设计丰富的智能边缘应用,提供流处理、视频分析、文字识别、图像识别等50多个AI模型部署到边缘节点运行,且提供边缘应用和云上服务协同能力,可以在边缘应用中心查看应用详情并将应用部署到边缘节点,为用户提供低成本、开箱即用、云上集中运维的软硬一体化解决方案。
如图6所示,本公开实施例可以提供一整套端到端的应用解决方案,输入端可以是图像、音视频、传感器、内容生产等终端设备,通过5G、4G、WIFI、以太网、无线433MHz频段通信、蓝牙、红外、ZigBee等连接技术接入边缘计算设备。边缘云是云能力在边缘端的拓展,分为边缘应用、边缘平台和边缘基础设施。边缘应用包括人脸布控、禁区告警等50多项AI业务;边缘平台提供支撑业务应用的算法推理、应用管理、物联网(Internet of Things,IOT)管理、配置管理、设备管理等服务;边缘基础设施支持ARM、NPU、X86、RISC-V等主流AI芯片架构,以及存储、网络等,可部署于不同量级的智能设备和计算节点中。
本公开实施例的业务管理系统主要包括终端设备、边缘计算设备和云端设备三个部分,其中:
1、终端设备
通过终端设备接入物联网(IOT)应用开发平台,将非标设备转换成标准物模型,就近接入网关,从而实现设备的管理和控制。
2、边缘计算设备
终端设备连接到边缘网关后,边缘网关可以实现设备数据的采集、流转、存储、分析和上报设备数据至云端,同时网关提供规则引擎、函数计算引擎,方便场景编排和业务扩展。
3、云端设备
设备数据上传云端后,可以结合中心云功能,如大数据、AI学习等,通过标准API接口,实现更多功能和应用。
如图7所示,终端设备通过多种设备接入协议接入边缘计算设备,终端设备包括但不限于摄像头、网络视频录像机(Network Video Recorder,NVR)、传感器等。边缘计算设备(即边缘节点、边缘云)支持边缘接入、设备管理、数据清洗、场景联动、边缘控制台、容器管理、函数管理和视频流处理能力,云端(中心云)支持边缘节点管理、应用部署管理、配置管理、数据安全、数据同步和云控制台等服务。系统通过实例的方式管理边缘端相关的网关、子设备,同时也可以管理场景联动、函数计算、流数据分析和消息路由内容。通过部署实例,将边缘实例中的资源部署至网关中。
系统提供多种设备接入协议,让终端设备轻松接入边缘计算设备。
场景联动实现了多个终端设备的本地管理、联动及控制,例如,场景联动可以将“开门”、“开灯”两个操作串联起来,并设置时间区间在18:00至19:00之间,实现在固定时间段,门开灯亮。场景联动是规则引擎中,一种开发自动化业务逻辑的可视化编程方式,可以通过可视化的方式定义设备之间联动规则,将规则部署至云端或者边缘端。
系统支持如下两种边缘应用:函数计算应用和容器镜像应用,其中:
函数计算应用:函数计算是一种运行时(Runtime)框架,可完成设备接入到边缘网关的开发以及基于设备数据、事件的业务逻辑开发。当前有云产品模式(结合阿里云函数计算产品使用)和本地直接上传模式。
容器镜像应用:容器镜像应用是一种基于容器技术的边缘应用,可以直接从镜像仓库中拉取镜像作为边缘应用。
应用管理即边缘应用管理能力,可以标准化的管理边缘端应用的版本、配置等。
边缘计算设备提供流数据分析能力。边缘流数据分析是对中心云流计算的扩展,解决物联网场景特有问题。
物联网需要高频采集数据,数据本身量大变化小,原始数据价值较低,流数据分析可先对数据进行清洗、加工、聚合之后再上云,大大减少数据传输成本。
边缘端与云端的连接不稳定,数据上云无法满足实时计算的要求,流数据分析在边缘端运行,因此不依赖网络,低时延处理数据。
边缘计算设备提供消息路由能力。可以在边缘计算设备中设置消息路由路径,控制本地数据在边缘计算设备中的流转,从而实现数据的安全可控。提供的消息路由路径包括:设备至物联网接入枢纽(IoT Hub)(云端)、设备至函数计算、设备至流数据分析、函数计算至函数计算、函数计算至IoT Hub、流数据分析至IoT Hub、流数据分析至函数计算、IoTHub至函数计算。
边缘计算设备提供断网续传能力,在断网或弱网情况下提供数据恢复能力。在配置消息路由时可以设置服务质量(QoS),从而在断网情况下将设备数据保存在本地存储区,网络恢复后,再将缓存数据同步至云端。
如图8所示,中心云平台支持行业大脑、园区安防、工业制造、应用管理、边云通道和配置管理等,边缘云平台支持边缘节点、安全管理、函数管理、边云流媒体、认证注册、边云通道、人工智能大数据(AIBD)、设备影子、视频智能、容器管理、监控运维和IOT管理等,边缘IOT平台支持资源管理和设备管理。边缘IOT平台可用于车联网、安防监控、工业制造、IOT、智慧家居等,边缘IOT平台支持消息队列遥测传输(MQTT)、流(Stream)、超文本传输协议(Hyper Text Transfer Protocol,HTTP)、Modbus(一种串行通信协议)、OPC-UA(OPCUnified Architecture)等通讯协议。
如图9所示,系统可以采用KubeEdge(一种使能边缘计算的开放平台)架构,通过Kubernetes(简称K8S)标准API在云端管理边缘节点、设备和工作负载,边缘节点的系统升级和应用程序更新都可以直接从云端下发,提升边缘运维效率。边缘计算设备在交付时可以预安装边缘组件(Edge part),成为K8S节点。边缘应用可以通过Kubernetes下发。K8S是一个全新的基于容器技术的分布式架构解决方案,是一个开源的容器集群管理系统。
KubeEdge的云端进程包含2个组件:云端通讯接口模块(Cloud Hub)和边缘控制器(Edge Controller),其中,Cloud Hub用于接收边缘通讯接口模块(Edge Hub)同步到云端的信息,Edge Controller用于控制Kubernetes API服务器(Kubernetes API Server)与边缘的节点、应用和配置的状态同步。
KubeEdge的边缘进程主要包括5个组件:Edged、Meta Manager、Edge Hub、DeviceTwin和EventBus,其中,Edged是个轻量级的节点代理Kubelet,实现Pod、Volume、Node等K8S资源对象的生命周期管理;Meta Manager负责本地元数据的持久化,是边缘节点自治能力的关键;Edge Hub是多路复用的消息通道,提供可靠和高效的云边信息同步;Device Twin用于抽象物理设备并在云端生成一个设备状态的映射;EventBus订阅来自于MQTT服务器(Broker)的设备数据。
本公开实施例的边缘计算平台能够实现边缘自主管理,在边缘侧设置一个原数据库,用于保存边缘计算平台的计算结果,该原数据库能够保证即使云边通道断了的时候,边缘侧也可以自主运行。设备的接入可以通过Kubernetes自定义资源定义(Custom ResourceDefinition,CRD)快速的拓展对象、模型等。CRD允许用户自定义新的资源类型,以及基于已有的Kubernetes资源,拓展集群能力。本公开实施例的边缘计算平台还能够实现边云流量治理,即实现云和边的通信负载均衡、边和边的通信以及发布等能力。
如图10所示,边缘计算设备支持IOT边缘服务,IOT边缘服务包括边缘智能、边缘设备管理、边缘集成和边缘安全,其中,边缘智能包括精准发放、事件检测、在线诊断和融合感知等,边缘设备管理包括设备联动、本地自治、边缘操控(Console)、就近接入和数据管理等,边缘集成包括行业插件和第三方应用等,边缘安全包括安全通讯、隐私保护、证书管理和数据加密等。
如图11所示,整个系统可以包括中心云平台、边缘云平台和边缘IOT平台,中心云平台提供边缘配置,边缘配置包括业务配置、流媒体配置、资源配置、AI服务配置和通信配置,边缘云平台提供边缘服务,其中,边缘服务包括解码服务、数据管道、业务处理、NPU推理服务等,NPU推理服务包括模型管理、模型调度、模型集成、健康检测、模型分析、优先级等,解码服务模块通过实时流传输协议(Real Time Streaming Protocol,RTSP)获取视频流进行处理,业务模块通过超文本传输协议(Hyper Text Transfer Protocol,HTTP)或远程过程调用(Remote Procedure Call,RPC)调用NPU推理服务,业务处理通过消息中间件或数据结构化回传数据。边缘IOT平台提供资源管理和设备管理,其中,边缘资源支持X86、ARM、NPU、GPU等异构硬件接入和边缘网关、边缘存储等功能,设备管理支持健康管理、备份管理、日志、监控\告警、升级等。
整个系统还可以分为五个功能模块:中心云管理、边缘云原生、边缘侧AI推理、云端配置可视化和边端展示可视化、边缘网关。中心云管理负责管理边缘应用生命周期管理,兼容原生K8S与Docker生态,支持以容器和函数应用形式管理,帮助用户在云端统一对边缘应用进行管理、监控和运维。边缘云采用KubeEdge架构,依托K8S的容器编排和调度能力,实现云边协同、计算下沉、海量设备的平滑接入。边缘侧AI推理以边缘节点异构硬件形式呈现,兼容ARM、NPU、X86、RISC-V等主流AI芯片架构。云端配置可视化实现边缘节点、AI业务能力、摄像头的配置;边端展示实现数据可视化。边缘网关使得整个系统具有5G、4G、WIFI、以太网(LAN)、433MHz、蓝牙(Bluetooth,BT)、红外、ZigBee等硬件通信协议功能,硬件可插拔,用户可选择使用。
本系统支持Kubernetes与Docter原生态。边缘应用可以从云端无缝迁移到边缘侧。中心云支持微服务的管理和编排,微服务可以部署到云上的容器引擎里面,也可以部署到边缘侧去。边缘应用在云上和在边缘上可以互通。中心云支持流量治理,流量治理包括负载均衡等。中心云支持边缘节点的监控等。
云端定义边缘业务智能:云端开发的视频智能分析、机器推理、大数据流处理等智能可以推送到边缘,就近提供实时服务能力。
云端集中管理边缘节点应用生命周期:在云端边缘计算服务可以集中管理分布在数以十万百万计的边缘计算网关上的容器和函数应用部署、配置变更、版本升级、监控、运维分析。
开放敏捷的轻量边缘平台:支持OCI(Open Container Initiative)镜像(Docker镜像)格式的容器应用和简便开发的函数应用推送到边缘节点,最低计算资源规格1vCPU,128MB内存;快速使能园区设备和应用的云边交互。
安全的边云协同:边缘设备安全接入云端平台,应用数据云边安全交互。
KubeEdge是国内第一个关于边缘计算的框架。它100%兼容K8S API。它分为云上云下两部分,即K8S可以部署到边缘节点,也可以部署到云上的云数据中心。它们之间通过一个安全通道进行通信。
本系统支持边缘自主管理和边云流量治理,其中,边缘自主管理:在边缘侧设置一个原数据库,能够保证这个安全通道断了的话,边缘侧也可以自主运行。边云流量治理:即对云和边的通信、边和边的通信以及发布等负载均衡能力。
本系统提供丰富的边缘AI算法,可以将中心云AI的能力延伸到边缘,例如人脸识别、车辆识别、周界入侵、文字识别等AI能力,低成本、高性能的边缘AI算力。
接口多样化:支持多种硬件接口和多种协议接口。
硬件系列化:针对不同行业和场景,支持选用不同边缘硬件,包括基于鲲鹏、X86、ARM架构的各种硬件。
软件标准化:统一框架架构,与硬件松耦合,可对接通用服务器,支持边缘服务可插拔。
应用生态化:开放的架构支持第三方服务集成,支撑全场景定制化解决方案的实现,提供丰富的应用生态沃土。
业务管理系统通过纳管用户的边缘节点,提供将云上应用延伸到边缘的能力,联动边缘和云端的数据,同时,在云端提供统一的边缘节点/应用监控、日志采集等运维能力,为企业提供完整的边缘计算解决方案。主要分两步:一、注册边缘节点;二、纳管边缘节点,并下发一个容器应用到这个边缘节点。
如图12所示,工业级边缘网关使得整个系统具有5G、4G、WIFI、LAN以太网、433MHz、BT蓝牙、红外、ZigBee等硬件通信协议功能,硬件可插拔,用户可选择使用。
系统可以通过服务实例作为管理边缘节点、下发应用的管理集群,登录云端配置管理控制台,创建服务实例并配置合适的参数,参数可以包括服务实例所在区域、实例名称、边云接入方式、边云节点规模、接入带宽、高级设置等。不同的地域之间服务实例不互通,边云接入方式包括“互联网接入”和“专线接入”。边缘节点规模为该服务实例能管理的边缘节点规模,示例性的,边缘节点规模可以为50、200、1000节点。当接入方式为“互联网接入”时,根据边缘节点规模,接入带宽分别对应为5Mbit/s、10Mbit/s、30Mbit/s。“专线接入”的接入带宽由专线决定。高级设置用于多可用区部署,即服务实例部署在多个可用区,支持多可用区容灾,但是对于集群性能有所损耗。
如图13所示,为了使系统能够管理边缘节点,需要进行如下操作:配置边缘节点、注册边缘节点和纳管边缘节点。
边缘节点既可以是物理机,也可以是虚拟机,配置边缘节点包括GPU驱动配置、NPU驱动配置、在边缘节点上安装Docker并检查Docker状态、配置边缘节点防火墙规则等。
注册边缘节点包括选择注册边缘节点类型(自建节点或智能边缘节点)、配置边缘节点基本信息(名称、描述、标签、区域、CPU架构、规格、操作系统、系统盘、边缘虚拟私有云、弹性公网IP、地址池、登录凭证)、配置边缘节点高级信息(绑定设备、是否启用Docker、监听地址、系统日志),配置完成后获取边缘节点配置文件和安装程序。其中,边缘节点的名称允许中文、英文字母、数字、中划线、下划线,边缘节点的标签可用于对资源进行标记,方便分类管理。如果需要使用同一标签标识多种云资源,即所有服务均可选择同一标签。区域用于选择边缘节点所在的边缘站点。地址池用于选择弹性公网IP的运营商线路。安全组用于选择实例需要加入的安全组。登录凭证支持使用设置初始密码方式作为边缘实例的鉴权方式,此时,可以通过用户名密码方式登录边缘实例。设置边缘节点高级信息时,绑定设备用于为边缘节点绑定终端设备,终端设备在注册边缘节点后仍然可以绑定。是否启用Docker:启用后可以支持部署容器应用,否则只支持部署函数应用。监听地址:边缘节点内置的MQTTbroker的监听地址,用于发送和接收边云消息。系统日志:边缘节点上的软件产生的日志。应用日志:边缘节点上部署的应用所产生的日志。
纳管边缘节点就是在实际的边缘节点上使用注册边缘节点中下载的安装程序和配置文件,安装边缘核心软件EdgeCore,这样边缘节点就能与云端连接,纳入云端管理。边缘节点初次纳管时,系统自动安装最新版本的边缘核心软件EdgeCore。
系统支持下发容器应用到边缘节点(本系统的编译环境存在云端容器仓库中,将业务容器通过边缘云下发到边缘节点(边缘计算设备)),可以下发如下两类容器应用:边缘市场中的边缘应用或自定义边缘应用,自定义边缘应用可以选择已经定义好的应用模板,在选择的应用模板的基础上进行修改,或者,从零开始配置容器应用。创建容器应用时,边缘节点会从容器镜像服务拉取镜像,容器镜像的架构必须与节点架构一致,比如节点为X86,那容器镜像的架构也必须是X86。
创建容器应用时,需要配置容器应用的基本信息、配置容器、部署配置、访问配置等。
其中,配置容器应用的基本信息包括配置容器应用的名称、容器应用的实例数量、配置方式、标签等信息。
配置容器包括选择需要部署的镜像、镜像版本和容器规格等,需要部署的镜像可以为用户自己在容器镜像服务中创建的所有镜像,也可以为其他用户共享的镜像。
部署配置支持两种方式:指定边缘节点或自动调度。当选择自动调度时,容器应用将在边缘节点组内根据资源用量自动调度。此时,还可以设置故障策略,故障策略用于当应用实例所在的边缘节点不可用时,指定是否将应用实例重新调度,迁移到边缘节点组内的其他可用节点。另外,还可以对容器进行重启策略或主机进程ID(Host PID)等高级配置。重启策略包括总是重启、失败时重启和不重启。
其中,总是重启:当应用容器退出时,无论是正常退出还是异常退出,系统都会重新拉起应用容器。当使用节点组时,重启策略为“总是重启”。失败时重启:当应用容器异常退出时,系统会重新拉起应用容器,正常退出时,则不再拉起应用容器。不重启:当应用容器退出时,无论是正常退出还是异常退出,系统都不再重新拉起应用容器。
Host PID启用时,容器与边缘节点宿主机共享PID命名空间,这样在容器或边缘节点上能够进行互相操作,比如在容器中启停边缘节点的进程、在边缘节点启停容器的进程。
访问配置支持端口映射和主机网络两种方式。
端口映射即容器网络虚拟化隔离,容器拥有单独的虚拟网络,容器与外部通信需要与主机做端口映射。配置端口映射后,流向主机端口的流量会映射到对应的容器端口。例如容器端口80与主机端口8080映射,那主机8080端口的流量会流向容器的80端口。端口映射可以选择主机网卡。
主机网络即容器使用宿主机(边缘节点)的网络,容器与主机间不做网络隔离,使用同一个IP。
应用部署后,可以更新升级应用、修改应用的访问配置等。
本公开实施例提供的业务管理方法、系统、配置服务器及边缘计算设备,通过通过边缘计算设备承担起全部核心算力,云端只根据用户需求,关联边缘计算设备与终端设备、下发边缘应用以及实时展示绑定的边缘计算设备的监控信息,不参与边缘应用的计算运行过程,即,本公开实施例的边缘应用运行过程全部在边缘端,这种架构的设计下,该业务管理方法不仅适用于允许公有云参与的场景,同时也适配于仅有内网的私有云的搭建的场景,譬如银行、交通系统、公安系统等。
本公开设计了具有标准化,自动化和模块化的业务管理系统,针对不同行业和场景,支持选用不同边缘硬件,包括基于鲲鹏、X86、ARM架构的各种硬件,支持50多种边缘侧AI能力和百万级边缘节点管理,提供将云上应用延伸到边缘的能力,联动边缘和云端的数据,同时,在云端提供统一的边缘节点/应用监控、日志采集等运维能力,为企业提供完整的边缘计算解决方案。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
虽然本公开所揭露的实施方式如上,但所述的内容仅为便于理解本公开而采用的实施方式,并非用以限定本公开。任何本公开所属领域内的技术人员,在不脱离本公开所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本公开的保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (19)

1.一种业务管理系统,其特征在于,包括配置服务器、边缘计算设备、终端设备和显示设备,所述边缘计算设备、终端设备和显示设备均为本地端设备,所述配置服务器为云端设备,其中:
所述配置服务器,被配置为提供前端配置页面,通过前端配置页面接收配置信息,所述配置信息包括边缘计算设备、终端设备以及所需AI服务,所述AI服务包括一个或多个边缘应用;根据所述配置信息,对所述边缘计算设备进行边缘应用部署;接收所述边缘计算设备的推理结果;
所述边缘计算设备,被配置为根据部署的边缘应用获取所述终端设备的多媒体数据流,根据获取的多媒体数据流进行应用推理,得到推理结果;
所述显示设备,被配置为根据所述推理结果进行显示。
2.根据权利要求1所述的业务管理系统,其特征在于,所述根据所述配置信息,对所述边缘计算设备进行边缘应用部署,包括:
根据所述配置信息,生成配置文件;
获取所述配置信息中的AI服务对应的可执行文件、动态库和算法模型;
生成边缘应用资源包,所述边缘应用资源包包括配置文件、可执行文件、动态库和算法模型;
通过网络或存储设备将所述边缘应用资源包传输至所述边缘计算设备。
3.根据权利要求1所述的业务管理系统,其特征在于,所述根据所述配置信息,对所述边缘计算设备进行边缘应用部署,包括:
根据所述配置信息,生成配置文件;
获取所述配置信息中的AI服务对应的可执行文件、动态库和算法模型;
根据所述配置文件、可执行文件、动态库和算法模型形成容器镜像文件;
通过Kubegde将所述容器镜像文件下发至所述边缘计算设备。
4.根据权利要求3所述的业务管理系统,其特征在于,一个所述边缘计算设备部署多个所述AI服务,每个所述AI服务通过一个独立的容器实现。
5.根据权利要求3所述的业务管理系统,其特征在于,所述配置服务器还被配置为:
当对所述边缘应用进行更新时,编译生成新的动态库和/或可执行文件;
根据所述新的动态库和/或可执行文件形成容器镜像文件;
将容器镜像文件下发至边缘计算设备,以替换当前边缘应用的动态库和/或可执行文件。
6.根据权利要求1所述的业务管理系统,其特征在于,所述AI服务包括:应用层、检测跟踪层和个性业务层,所述应用层包括一个或多个应用层模块,所述检测跟踪层包括一个或多个检测跟踪模块,所述个性业务层包括一个或多个个性业务模块,每个模块均以插件的形式接入主线程中。
7.根据权利要求1所述的业务管理系统,其特征在于,所述AI服务包括:根据不同硬件平台的硬件数据包编译的多个动态库。
8.根据权利要求1所述的业务管理系统,其特征在于,所述配置信息中的AI服务包括:服务名称、容器应用的实例数量、镜像名称、镜像版本、容器名称、容器规格以及容器网络类型,所述容器规格包括CPU配额、内存配额、是否使用AI加速卡、AI加速卡类型,所述容器网络类型包括端口映射和主机网络。
9.根据权利要求1所述的业务管理系统,其特征在于,还包括边缘网关,其中:
所述边缘计算设备和终端设备之间通过所述边缘网关相互连接;
所述边缘网关包括多个可插拔硬件通信协议插件,所述硬件通信协议包括以下至少之二:5G、4G、WIFI、以太网、无线433MHz频段通信、蓝牙、红外、紫蜂ZigBee。
10.一种业务管理方法,其特征在于,包括:
配置服务器通过前端配置页面接收配置信息,所述配置信息包括边缘计算设备、终端设备以及所需AI服务,所述AI服务包括一个或多个边缘应用;
所述配置服务器根据所述配置信息,对所述边缘计算设备进行边缘应用部署;
所述配置服务器接收所述边缘计算设备的推理结果。
11.根据权利要求10所述的业务管理方法,其特征在于,所述方法还包括:
所述配置服务器获取所述边缘计算设备的设备监控信息,存储或展示所述设备监控信息。
12.根据权利要求10所述的业务管理方法,其特征在于,所述配置服务器位于中心云端或私有云端。
13.一种配置服务器,其特征在于,包括存储器;和耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求10至12中任一项所述的业务管理方法的步骤。
14.一种计算机存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现如权利要求10至12中任一项所述的业务管理方法。
15.一种业务管理方法,其特征在于,包括:
边缘计算设备接收容器镜像文件,所述容器镜像文件包括配置文件、可执行文件、动态库和算法模型;
所述边缘计算设备根据所述容器镜像文件进行边缘应用部署;
所述边缘计算设备根据部署的边缘应用获取终端设备的多媒体数据流,根据获取的多媒体数据流进行应用推理,得到推理结果。
16.根据权利要求15所述的业务管理方法,其特征在于,所述方法还包括:
所述边缘计算设备将所述推理结果发送至信发系统,以通过所述信发系统推送与所述推理结果相对应的广告信息或告警信息。
17.根据权利要求15所述的业务管理方法,其特征在于,所述边缘应用包括:应用层、检测跟踪层和个性业务层,所述应用层包括拉流模块、解码模块、守护进程模块和设备监控模块,所述检测跟踪层包括检测模块和跟踪模块,所述边缘计算设备根据部署的边缘应用进行应用推理,包括:
所述边缘计算设备通过所述拉流模块拉取终端设备的视频流,通过所述解码模块对所述视频流进行解码,将单帧图像输出至所述检测跟踪模块,通过所述设备监控模块获取设备监控信息,通过所述守护进程模块监测所述拉流模块是否正常运行;
所述边缘计算设备通过所述检测模块对单帧图像进行目标检测,通过所述跟踪模块对检测出的目标进行跟踪;
所述边缘计算设备通过所述个性业务层的模块接收目标检测信息和跟踪信息,进行个性业务推理。
18.一种边缘计算设备,其特征在于,包括存储器;和耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求15至17中任一项所述的业务管理方法的步骤。
19.一种计算机存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现如权利要求15至17中任一项所述的业务管理方法。
CN202210546081.XA 2022-05-18 2022-05-18 业务管理方法、系统、配置服务器及边缘计算设备 Active CN114979246B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210546081.XA CN114979246B (zh) 2022-05-18 2022-05-18 业务管理方法、系统、配置服务器及边缘计算设备
PCT/CN2023/092262 WO2023221781A1 (zh) 2022-05-18 2023-05-05 业务管理方法、系统、配置服务器及边缘计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210546081.XA CN114979246B (zh) 2022-05-18 2022-05-18 业务管理方法、系统、配置服务器及边缘计算设备

Publications (2)

Publication Number Publication Date
CN114979246A true CN114979246A (zh) 2022-08-30
CN114979246B CN114979246B (zh) 2024-08-16

Family

ID=82985883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210546081.XA Active CN114979246B (zh) 2022-05-18 2022-05-18 业务管理方法、系统、配置服务器及边缘计算设备

Country Status (2)

Country Link
CN (1) CN114979246B (zh)
WO (1) WO2023221781A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132488A (zh) * 2022-12-08 2023-05-16 南方电网数字平台科技(广东)有限公司 基于边缘技术的物理终端管控方法及系统
CN116743845A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 边缘服务发现方法、装置、节点设备和可读存储介质
CN116781476A (zh) * 2023-06-30 2023-09-19 索提斯云智控科技(上海)有限公司 一种节点型边缘计算系统
CN116800752A (zh) * 2023-07-11 2023-09-22 无锡隆云数字技术有限公司 一种分布式公有云部署系统及方法
WO2023221781A1 (zh) * 2022-05-18 2023-11-23 京东方科技集团股份有限公司 业务管理方法、系统、配置服务器及边缘计算设备
CN117826694A (zh) * 2024-03-06 2024-04-05 北京和利时系统集成有限公司 一种智能机电系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596246B (zh) * 2024-01-12 2024-09-03 山东省计算中心(国家超级计算济南中心) 基于异构资源度量特征的算力网络工作流调度方法及系统
CN118337781A (zh) * 2024-03-14 2024-07-12 山东爱特云翔信息技术有限公司 城市大脑ai计算中心分布式异构算力的调度方法及系统
CN118233461B (zh) * 2024-04-17 2024-08-30 安徽大学 一种基于边云协同计算的数据集放置方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180300124A1 (en) * 2015-08-27 2018-10-18 FogHorn Systems, Inc. Edge Computing Platform
CN111459605A (zh) * 2020-02-26 2020-07-28 浙江工业大学 一种基于Docker的边缘计算网关虚拟化方法
CN112188164A (zh) * 2020-09-29 2021-01-05 爱动超越人工智能科技(北京)有限责任公司 一种基于ai视觉的违规行为实时监测系统及方法
CN112272234A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 一种实现边云协同智能即服务的平台管理系统及方法
CN113420603A (zh) * 2021-05-27 2021-09-21 南京四维向量科技有限公司 一种基于Atlas边缘计算设备的员工效能跟踪系统
CN113708974A (zh) * 2021-09-03 2021-11-26 南方电网数字电网研究院有限公司 基于自适应组网的边缘云网络系统及协同方法
CN114490063A (zh) * 2022-01-25 2022-05-13 京东方科技集团股份有限公司 业务管理方法、平台及服务交付系统、计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659526B2 (en) * 2018-01-03 2020-05-19 Verizon Patent And Licensing Inc. Edge compute systems and methods
CN114093505B (zh) * 2021-11-17 2022-06-17 山东省计算中心(国家超级计算济南中心) 一种基于云边端架构的病理检测系统及方法
CN114138501B (zh) * 2022-02-07 2022-06-14 杭州智现科技有限公司 用于现场安全监控的边缘智能服务的处理方法和装置
CN114979246B (zh) * 2022-05-18 2024-08-16 京东方科技集团股份有限公司 业务管理方法、系统、配置服务器及边缘计算设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180300124A1 (en) * 2015-08-27 2018-10-18 FogHorn Systems, Inc. Edge Computing Platform
CN111459605A (zh) * 2020-02-26 2020-07-28 浙江工业大学 一种基于Docker的边缘计算网关虚拟化方法
CN112188164A (zh) * 2020-09-29 2021-01-05 爱动超越人工智能科技(北京)有限责任公司 一种基于ai视觉的违规行为实时监测系统及方法
CN112272234A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 一种实现边云协同智能即服务的平台管理系统及方法
CN113420603A (zh) * 2021-05-27 2021-09-21 南京四维向量科技有限公司 一种基于Atlas边缘计算设备的员工效能跟踪系统
CN113708974A (zh) * 2021-09-03 2021-11-26 南方电网数字电网研究院有限公司 基于自适应组网的边缘云网络系统及协同方法
CN114490063A (zh) * 2022-01-25 2022-05-13 京东方科技集团股份有限公司 业务管理方法、平台及服务交付系统、计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹萍等: "面向边缘计算的制造资源感知接入与智能网关技术研究", 《计算机集成制造系统》, vol. 26, no. 1, 31 January 2020 (2020-01-31), pages 40 - 47 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221781A1 (zh) * 2022-05-18 2023-11-23 京东方科技集团股份有限公司 业务管理方法、系统、配置服务器及边缘计算设备
CN116132488A (zh) * 2022-12-08 2023-05-16 南方电网数字平台科技(广东)有限公司 基于边缘技术的物理终端管控方法及系统
CN116781476A (zh) * 2023-06-30 2023-09-19 索提斯云智控科技(上海)有限公司 一种节点型边缘计算系统
CN116781476B (zh) * 2023-06-30 2024-03-22 索提斯云智控科技(上海)有限公司 一种节点型边缘计算系统
CN116800752A (zh) * 2023-07-11 2023-09-22 无锡隆云数字技术有限公司 一种分布式公有云部署系统及方法
CN116800752B (zh) * 2023-07-11 2024-01-30 无锡隆云数字技术有限公司 一种分布式公有云部署系统及方法
CN116743845A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 边缘服务发现方法、装置、节点设备和可读存储介质
CN116743845B (zh) * 2023-08-15 2023-11-03 中移(苏州)软件技术有限公司 边缘服务发现方法、装置、节点设备和可读存储介质
CN117826694A (zh) * 2024-03-06 2024-04-05 北京和利时系统集成有限公司 一种智能机电系统

Also Published As

Publication number Publication date
WO2023221781A1 (zh) 2023-11-23
CN114979246B (zh) 2024-08-16

Similar Documents

Publication Publication Date Title
CN114979246A (zh) 业务管理方法、系统、配置服务器及边缘计算设备
US11960976B2 (en) Decomposing tasks through artificial intelligence chaining
US11290537B1 (en) Discovery of device capabilities
US10685283B2 (en) Demand classification based pipeline system for time-series data forecasting
Cao et al. Edge computing: a primer
Bahga et al. Internet of Things: A hands-on approach
CN108353090B (zh) 用于改进对分布式网络中的传感器流数据的处理的方法
TWI633771B (zh) 對於已部署裝置的服務之編配與管理技術
CN112272234B (zh) 一种实现边云协同智能即服务的平台管理系统及方法
US20190260831A1 (en) Distributed integrated fabric
US20160292324A1 (en) Systems and methods for predicting performance
US20200409744A1 (en) Workflow engine framework
CN113568743A (zh) 物联网设备的管理方法、装置、介质及电子设备
US10666712B1 (en) Publish-subscribe messaging with distributed processing
Helu et al. Scalable data pipeline architecture to support the industrial internet of things
CN112788125A (zh) 一种基于数据接入、流转及联动的物联网平台以及方法
Jiang et al. Design of software-defined gateway for industrial interconnection
US20220294702A1 (en) Systems and methods for automated network state and network inventory tracking
CN113612970B (zh) 一种面向工业监控视频的安全事件智能分析管控平台
Raj et al. Edge/Fog Computing Paradigm: The Concept, Platforms and Applications.
CN111193610B (zh) 一种基于物联网的智慧监控数据系统和方法
Casetti et al. Ml-driven provisioning and management of vertical services in automated cellular networks
CN114895701B (zh) 一种无人机巡检方法及系统
Bendre et al. Creating transformational media solutions using 5g edge computing
CN113190328A (zh) 一种面向系统辨识的容器化云工作流处理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant