CN114706675A - 基于云边协同系统的任务部署方法及装置 - Google Patents

基于云边协同系统的任务部署方法及装置 Download PDF

Info

Publication number
CN114706675A
CN114706675A CN202210079870.7A CN202210079870A CN114706675A CN 114706675 A CN114706675 A CN 114706675A CN 202210079870 A CN202210079870 A CN 202210079870A CN 114706675 A CN114706675 A CN 114706675A
Authority
CN
China
Prior art keywords
data
task
edge
current
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210079870.7A
Other languages
English (en)
Inventor
吴振宇
李麟杰
纪阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Beijing University Of Posts And Telecommunications
Beijing University of Posts and Telecommunications
Original Assignee
Shenzhen Research Institute Of Beijing University Of Posts And Telecommunications
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Beijing University Of Posts And Telecommunications, Beijing University of Posts and Telecommunications filed Critical Shenzhen Research Institute Of Beijing University Of Posts And Telecommunications
Priority to CN202210079870.7A priority Critical patent/CN114706675A/zh
Publication of CN114706675A publication Critical patent/CN114706675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本发明提供了一种基于云边协同系统的任务部署方法及装置，涉及云边协同技术领域，所述云边协同系统包括多个边缘端节点；所述方法包括：获取当前待处理的任务类型和当前待处理的数据量大小；获取每个所述边缘端节点的当前剩余资源量；基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点；将与所述当前待处理的任务类型对应的任务部署至所述目标节点。本发明提供的技术方案，能够对待处理任务进行灵活部署，从而保证系统正常运行、且使集群资源得到最优化利用。

Description

基于云边协同系统的任务部署方法及装置
技术领域
本发明涉及云边协同技术领域，特别地涉及一种基于云边协同系统的任务部署方法及装置。
背景技术
目前的工业设备管理模式正从云计算逐步转向以云边协同为主的设备管理模式。云计算(Cloud computing)是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。特点为云中心服务器运行所有任务处理所有数据。优势是计算资源丰富、云端服务器部署具备弹性好，灵活度高，便于管理。劣势是随着工业设备增多，异构数据增加，传统云计算已经不能满足一些对实时性比较敏感的应用，而且全部上传到云端会给网络带宽和云端数据库的压力增大，导致传输时延增加。
边缘计算(Edge computing)是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。特点是在网络边缘执行计算，工业源数据可以就近处理，减少上传云端的数据量。优势是时延小、安全性强、缓解了网络带宽和云端服务器的压力。劣势是计算资源少，且可用于训练的数据量相较于云计算太少，导致模型不够精确。
于是很多专家学者提出云边协同系统运作模式，目的是结合两者优势，即既利用边缘计算时延小、传输快的特点，又利用云端中心服务器资源丰富特点。
在智能工业场景中，云边协同系统通常由云端和多个边缘端节点构成集群，边缘端节点资源和计算能力参差不齐，而现有的方案大都针对单一云边进行讨论，系统结构固定，无法根据业务需求灵活部署任务，不能使集群资源最优化利用，当有节点宕机或云端与边缘端业务连接断开时，系统无法正常运行。
发明内容
针对上述现有技术中的问题，本申请提出了一种基于云边协同系统的任务部署方法及装置，能够对待处理任务进行灵活部署，从而保证系统正常运行、且使集群资源得到最优化利用。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明实施例提供了一种基于云边协同系统的任务部署方法，所述云边协同系统包括多个边缘端节点；所述方法包括：
获取当前待处理的任务类型和当前待处理的数据量大小；
获取每个所述边缘端节点的当前剩余资源量；
基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点；
将与所述当前待处理的任务类型对应的任务部署至所述目标节点。
优选地，获取当前待处理的任务类型，包括：
按照预设的pipeline任务顺序获取当前待处理的任务类型。
优选地，所述获取每个所述边缘端节点的当前剩余资源量，包括：
获取每个所述边缘端节点的当前内存大小和当前CPU大小。
优选地，所述基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点，包括：
基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，判断所述多个边缘端节点中是否有能够处理所述当前待处理的数据量大小的边缘端节点；
当所述多个边缘端节点中有能够处理所述当前待处理的数据量大小的边缘端节点时，从所述多个边缘端节点中选取当前剩余资源量最大的边缘端节点作为所述目标节点。
优选地，所述方法应用于对设备故障的预测中；所述当前待处理的任务类型包括以下项目中的任意一项：数据采集任务、数据预处理任务、特征提取任务和故障预测任务；其中，
所述数据采集任务用于采集待预测设备的运行参数；
所述数据预处理任务用于对所述待预测设备的运行参数进行预处理，获得预处理后的数据；
所述特征提取任务用于对所述预处理后的数据进行特征提取，获得特征数据集；
所述故障预测任务用于将所述特征数据集输入预先训练好的故障预测模型中，以使所述故障预测模型输出所述待预测设备是否发生故障的预测结果。
优选地，所述对所述待预测设备的运行参数进行预处理，获得预处理后的数据，包括：
对所述待预测设备的运行参数依次进行数据清洗处理、数据归一化处理，获得所述预处理后的数据。
优选地，所述对所述预处理后的数据进行特征提取，获得特征数据集，包括：
基于预设时间窗将所述预处理后的数据划分为多个数据组；
对于每个所述数据组，执行以下操作，获得该数据组的特征数据：
对该数据组在时域上进行特征提取，获得时域特征值；
对该数据组在频域上进行特征提取，获得频域特征值；
对该数据组在时频域上进行特征提取，获得时频域特征值；
将所述时域特征值、所述频域特征值和所述时频域特征值组成数据集，获得该数据组的特征数据；
将每个所述数据组的特征数据组成数据集，获得所述特征数据集。
优选地，所述故障预测模型采用以下方式获得所述预测结果：
基于所述特征数据集，获得所述待预测设备的运行状态；
基于所述待预测设备的运行状态，判断所述待预测设备是否发生故障，以获得所述预测结果。
进一步地，所述当前待处理的任务类型还包括：
模型训练任务，用于基于预处理后的历史数据，对预先建立的网络模型进行训练，获得所述故障预测模型；其中，所述历史数据为已经采集的所述待预测设备在预定历史时间段的运行参数；
所述预处理后的历史数据采用以下方式获得：
对所述历史数据依次进行所述数据清洗处理、所述数据归一化处理，获得所述预处理后的历史数据。
进一步地，所述故障预测模型有多个，所述方法还包括：
将多个所述故障预测模型进行融合，获得融合后的故障预测模型；
所述故障预测任务还用于将所述特征数据集输入所述融合后的故障预测模型中，以使所述融合后的故障预测模型输出所述待预测设备是否发生故障的预测结果。
第二方面，本发明实施例提供了一种基于云边协同系统的任务部署装置，所述云边协同系统包括多个边缘端节点；所述装置包括：
第一获取单元，用于获取当前待处理的任务类型和当前待处理的数据量大小；
第二获取单元，用于获取每个所述边缘端节点的当前剩余资源量；
节点确定单元，用于基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点；
任务部署单元，用于将与所述当前待处理的任务类型对应的任务部署至所述目标节点。
第三方面，本发明实施例提供了一种存储介质，所述存储介质上存储有程序代码，所述程序代码被处理器执行时，实现如上述实施例中任一项所述的基于云边协同系统的任务部署方法。
第四方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的程序代码，所述程序代码被所述处理器执行时，实现如上述实施例中任一项所述的基于云边协同系统的任务部署方法。
本发明实施例提供的一种基于云边协同系统的任务部署方法及装置，由于是基于当前待处理的数据量大小和每个边缘端节点的当前剩余资源量，从多个边缘端节点中确定出目标节点，然后将与当前待处理的任务类型对应的任务部署至该目标节点，因此，与现有的单一的云边协同系统结构相比，本发明实施例能够根据当前待处理的数据量大小和每个边缘端节点的当前剩余资源量对待处理任务进行灵活部署，避免了将预定任务部署至预定的边缘端节点，从而保证系统正常运行、且使集群资源得到最优化利用。
附图说明
通过结合附图阅读下文示例性实施例的详细描述可更好地理解本发明公开的范围。其中所包括的附图是：
图1为本发明实施例的方法流程图；
图2为本发明实施例所述的云边协同系统的整体框架图；
图3为本发明实施例在对网络模型训练阶段的时序图；
图4为本发明实施例在对设备故障进行实时预测的时序图；
图5为本发明实施例的装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，以下将结合附图及实施例来详细说明本发明的实施方法，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
现有的云边协同系统边缘端节点任务单一，且没有讨论多个节点的运作模式。在实际工厂的云边协同模式中，通常由一个云端和多个边缘端节点组成集群，且边缘端节点的计算能力强弱不同，现有的云边协同系统不能根据边缘端节点的资源情况灵活部署任务。在本发明中，提出了在云端实现服务发现和负载均衡功能，云端控制中心根据边缘端节点计算能力的强弱灵活部署相应的任务给到边缘端节点或云端业务中心，保证了集群资源最大化利用。
根据本发明的实施例，提供了一种基于云边协同系统的任务部署方法，所述云边协同系统包括多个边缘端节点；如图1所示，本实施例所述的方法包括：
步骤S101，获取当前待处理的任务类型和当前待处理的数据量大小；
本实施例中，获取当前待处理的任务类型，包括：按照预设的pipeline任务顺序获取当前待处理的任务类型。
其中，数据量大小为每一部分任务完成后的数据，如数据采集后，数据量大小为采集的数据量大小；数据预处理后，数据量大小为预处理后的数据量大小；特征提取后，数据量大小为特征提取后的数据量大小。数据量大小可通过数据集行数和特征项项数进行估计，其中特征项提前规定好，项数确定。
步骤S102，获取每个所述边缘端节点的当前剩余资源量；
本实施例中，所述获取每个所述边缘端节点的当前剩余资源量，包括：获取每个所述边缘端节点的当前内存大小和当前CPU大小。
步骤S103，基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点；
本实施例中，所述基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点，包括：基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，判断所述多个边缘端节点中是否有能够处理所述当前待处理的数据量大小的边缘端节点；当所述多个边缘端节点中有能够处理所述当前待处理的数据量大小的边缘端节点时，从所述多个边缘端节点中选取当前剩余资源量最大的边缘端节点作为所述目标节点。
此外，本实施例也可采用负载均衡算法从所述多个边缘端节点中确定出目标节点，以使边缘端节点的当前负载均衡。
步骤S104，将与所述当前待处理的任务类型对应的任务部署至所述目标节点。
本实施例中，将与当前待处理的任务类型对应的任务部署至所述目标节点，以使所述目标节点执行该任务。
即在本实施例中，当前待处理任务由哪个边缘端节点执行，是基于当前待处理的数据量大小和每个边缘端节点的当前剩余资源量来实时部署的，如此，避免了将预定任务部署至预定的边缘端节点而导致的当某一边缘节点宕机，系统无法正常运行的技术问题。即本实施例能够对待处理任务进行灵活部署，从而保证系统正常运行、且使集群资源得到最优化利用。
本实施例所述的方法可应用于对设备故障的预测中。当本实施例所述的方法应用于对设备故障的预测中时，所述当前待处理的任务类型包括以下项目中的任意一项：数据采集任务、数据预处理任务、特征提取任务和故障预测任务。
其中，所述数据采集任务用于采集待预测设备的运行参数；所述数据预处理任务用于对所述待预测设备的运行参数进行预处理，获得预处理后的数据；所述特征提取任务用于对所述预处理后的数据进行特征提取，获得特征数据集；所述故障预测任务用于将所述特征数据集输入预先训练好的故障预测模型中，以使所述故障预测模型输出所述待预测设备是否发生故障的预测结果。
在上述任务类型所执行的步骤中，所述对所述待预测设备的运行参数进行预处理，获得预处理后的数据，包括：对所述待预测设备的运行参数依次进行数据清洗处理、数据归一化处理，获得所述预处理后的数据。
在上述任务类型所执行的步骤中，所述对所述预处理后的数据进行特征提取，获得特征数据集，包括：第一步，基于预设时间窗将所述预处理后的数据划分为多个数据组；第二步，对于每个所述数据组，执行以下操作，获得该数据组的特征数据：对该数据组在时域上进行特征提取，获得时域特征值；对该数据组在频域上进行特征提取，获得频域特征值；对该数据组在时频域上进行特征提取，获得时频域特征值；将所述时域特征值、所述频域特征值和所述时频域特征值组成数据集，获得该数据组的特征数据；第三步，将每个所述数据组的特征数据组成数据集，获得所述特征数据集。
本实施例中，所述故障预测模型采用以下方式获得所述预测结果：基于所述特征数据集，获得所述待预测设备的运行状态；基于所述待预测设备的运行状态，判断所述待预测设备是否发生故障，以获得所述预测结果。
本实施例中，所述当前待处理的任务类型还包括：模型训练任务，用于基于预处理后的历史数据，对预先建立的网络模型进行训练，获得所述故障预测模型；其中，所述历史数据为已经采集的所述待预测设备在预定历史时间段的运行参数。
其中，所述预处理后的历史数据采用以下方式获得：对所述历史数据依次进行所述数据清洗处理、所述数据归一化处理，获得所述预处理后的历史数据。
当采用边缘端节点进行模型训练时，由于采用的是边缘端节点所采集到的历史数据，因此训练数据有限，所得到的故障预测模型并不精确。在一些应用场景中，也有可能有多个边缘点节点在同时训练模型，因此可获得多个故障预测模型。当故障预测模型有多个时，所述方法还包括：将多个所述故障预测模型进行融合，获得融合后的故障预测模型。该融合后的故障预测模型由于融合了多个在边缘端节点训练的故障预测模型，因此在用于设备故障预测时更加精确。
本实施例中，所述故障预测任务还用于将所述特征数据集输入所述融合后的故障预测模型中，以使所述融合后的故障预测模型输出所述待预测设备是否发生故障的预测结果。
随着工业设备逐渐智能化，大量复杂系统的综合化、智能化程度不断提高，制造和维护成本高昂。同时，精细化的器件受环境影响，发生故障和损坏的几率逐渐加大，而PHM(Prognostics Health Management，故障预测与健康管理)技术可以实现工业设备从原先的被动故障检测转向主动预测，被广泛运用于解决故障预测问题。
以下以将本实施例所述的方法实际应用于预测设备故障为例，进一步详细说明对预测设备故障的任务的部署方法，以使本实施例更加便于理解：
图2为本发明实施例所述的云边协同系统的整体框架图。如图2所示，系统分为三个部分，从下至上分别是工业设备、边缘端和云端。其中，云端包括云端控制中心和云端业务中心，云端控制中心包括资源分配模块和业务编排模块，云端业务中心包括模型训练模块、模型融合模块和云端数据库；边缘端存在多个节点，每个边缘端节点包括资源上传模块，指令接收模块、节点轻量级数据库，以及由云端根据边缘端节点资源向边缘端节点部署的任务/业务，任务/业务会部署在Pod里；工业设备主要为生产线上的电机、气缸等设备。
本实施例中包括5个工业故障诊断pipeline任务，分别为：数据采集任务、数据预处理任务、特征提取任务、模型训练任务和故障预测任务。
其中，数据采集任务是通过工业设备传感器采集设备的运行参数，向边缘端节点上传历史数据和实时运行数据，历史数据带有设备状态标签，实时运行数据无设备状态标签；数据预处理任务完成工业原始采集数据的异常值剔除，例如，对数据进行数据清洗、数据归一化等处理；特征提取任务主要是通过设置时间窗大小将数据集划分为多组数据，分析并提取每组数据在时域、频域、时频域的特征值组成特征数据集；模型训练任务是根据历史数据处理后的特征数据集，利用PHM算法进行模型训练；故障预测任务是根据实时数据处理后的特征数据集，利用模型进行设备状态预测，进而预测设备是否发生故障。
在系统正常运行过程中，所有的边缘端节点需定时向云端控制中心上传其自身的资源情况，包括CPU、内存等资源情况。云端控制中心中的资源分配模块收到这些资源情况信息后定时更新自己存储的边缘端节点的资源情况。
当系统正常运行时，云端接收边缘端节点完成特征提取后的数据，基于这些数据对预先建立的网络模型进行训练，获得训练好的故障预测模型，以便后续将该故障预测模型下放至目标节点。在进行具体的任务部署时，例如，当边缘端节点接收到工业原始数据，即待预测设备的运行参数后，业务编排模块经过服务发现后，按照pipeline任务顺序，发送任务类型和数据量大小(即当前待处理的任务类型和当前待处理的数据量大小)至资源分配模块进行分析，资源分配模块经过负载均衡算法后，返回完成该子任务的边缘端节点的标识至业务编排模块，由业务编排模块进行与该任务类型对应的任务的部署。例如，经过分析假定由Node2完成数据采集，由Node4完成数据预处理，由Node1完成特征提取，在云端模型训练模块进行模型训练，由Node3完成故障预测。
其中，资源分配模块也可从多个边缘端节点中选取当前剩余资源量最大的边缘端节点作为目标节点，由业务编排模块将当前待处理任务部署至该目标节点。
当云端业务中心与边缘端节点之间的通信意外断开时，可启用联邦学习模式，即模型训练任务可通过部署在边缘端节点完成，边缘端节点训练模型上传至云端进行模型融合。
需要说明的是，联邦学习只是其中一个场景(在边缘端节点进行模型训练)。目的是当云端业务中心与边缘端节点意外断开时，数据无法上传至云端进行模型训练，只能在边缘端节点进行模型训练，在一些应用场景中，有可能几个边缘端节点同时在训练模型，边缘端节点训练的模型由于数据量较小，所以模型不够精确。当连接恢复时，需要将边缘端节点训练的小模型上传至云端进行模型融合，保证最终用于预测的模型是完善的。
还需要说明的是，以上通信断开场景指的是云端业务中心与边缘端节点断开，但云端控制中心与边缘端节点仍然可以正常通信，即控制指令可以传输，但是数据无法上传。在此种场景下，任务仍旧是由云端控制中心进行部署。
本实施例中，上述模型融合指的是按照一定的方法进行集成，加强模型效果。因为边缘端节点在进行模型训练时，只能用到某一个时间段的数据，数据量相较于全部上传至云端进行模型训练的情况小很多，所以单个边缘端节点训练的模型准确度会小很多。在此场景下，多个边缘端节点会分别训练小模型，当云边业务通信重新连接时，边缘端节点将小模型上传至云端按照一定策略进行融合以提高整体准确度。融合时，可根据不同边缘端节点进行模型训练的数据量大小来规定融合时权重大小，训练时的数据量越大，权重越大。
系统运行分为模型训练阶段和实时预测阶段，其中模型训练阶段指的是工业设备上传设备历史数据，带有设备状态标签，经过数据处理后，进行模型训练，所用算法为机器学习中监督学习算法，时序图如图3所示；实时预测阶段指的是工业设备运行时，传感器实时采集数据上传至边缘端，数据处理后，进行故障预测，时序图如图4所示。
本实施例通过Kubernetes(后简称为K8S)+KubeEdge组成系统框架，在云端部署K8S，在边缘端部署KubeEdge。K8S可将边缘端节点纳入集群进行管理，可部署业务至边缘端节点，KubeEdge可看作边缘端节点的K8S裁剪版，可收集设备数据，管理边缘节点上的Pod。K8S的apiserver与KubeEdge的Cloudcore通过list/watch进行信息传递。本实施例所提到的任务/业务均可部署在云端和边缘端的Pod中，Pod为容器管理器，Pod之间可以通过协议或API进行互相调用和信息传输。本实施例中的云端业务编排模块和资源分配模块可通过对K8S中Kube-schudule和Kube-contorller进行二次开发，或通过自建模块后接入apiserver实现；Pod中的容器为Docker容器。
其中，Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效，Kubernetes提供了应用部署，规划，更新，维护的一种机制。
KubeEdge是一个开源系统，用于将本机容器化的应用程序编排功能扩展到Edge上的主机，它基于kubernetes构建，并为网络，应用程序提供基本的基础架构支持。
需要说明的是，本实施例中图2所示的资源分配模块、业务编排模块、模型训练模块、模型融合模块、资源上报模块、指令接收模块等模块为按照本实施例所述的方法所划分出的一些具体的功能模块，仅为一种具体的实施方式，本领域技术人员可以按照本实施例所述的方法划分出其它的功能模块，此处不作具体限制。
本发明实施例提出在云端对边缘端节点进行业务编排和资源分配，使工业故障预测pipeline任务从数据采集、数据预处理、特征提取、模型训练到故障预测可以根据边缘节点资源灵活部署，使集群资源得到最优化利用。并且，当边缘端节点出现意外宕机时，系统仍然能够正常运行。
本发明实施例提供的一种基于云边协同系统的任务部署方法，由于是基于当前待处理的数据量大小和每个边缘端节点的当前剩余资源量，从多个边缘端节点中确定出目标节点，然后将与当前待处理的任务类型对应的任务部署至该目标节点，因此，与现有的单一的云边协同系统结构相比，本发明实施例能够根据当前待处理的数据量大小和每个边缘端节点的当前剩余资源量对待处理任务进行灵活部署，避免了将预定任务部署至预定的边缘端节点，从而保证系统正常运行、且使集群资源得到最优化利用。
实施例二
与上述方法实施例相对应地，本发明还提供一种基于云边协同系统的任务部署装置，所述云边协同系统包括多个边缘端节点；如图5所示，所述装置包括：
第一获取单元201，用于获取当前待处理的任务类型和当前待处理的数据量大小；
第二获取单元202，用于获取每个所述边缘端节点的当前剩余资源量；
节点确定单元203，用于基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点；
任务部署单元204，用于将与所述当前待处理的任务类型对应的任务部署至所述目标节点。
本实施例中，所述第一获取单元201采用以下方式获取当前待处理的任务类型：
按照预设的pipeline任务顺序获取当前待处理的任务类型。
本实施例中，所述第二获取单元202采用以下方式获取每个所述边缘端节点的当前剩余资源量：
获取每个所述边缘端节点的当前内存大小和当前CPU大小。
本实施例中，所述节点确定单元203包括：
判断单元，用于基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，判断所述多个边缘端节点中是否有能够处理所述当前待处理的数据量大小的边缘端节点；
选取单元，用于当所述多个边缘端节点中有能够处理所述当前待处理的数据量大小的边缘端节点时，从所述多个边缘端节点中选取当前剩余资源量最大的边缘端节点作为所述目标节点。
本实施例所述的装置应用于对设备故障的预测中。所述第一获取单元201获取的当前待处理的任务类型包括以下项目中的任意一项：数据采集任务、数据预处理任务、特征提取任务和故障预测任务。
其中，所述数据采集任务用于采集待预测设备的运行参数；所述数据预处理任务用于对所述待预测设备的运行参数进行预处理，获得预处理后的数据；所述特征提取任务用于对所述预处理后的数据进行特征提取，获得特征数据集；所述故障预测任务用于将所述特征数据集输入预先训练好的故障预测模型中，以使所述故障预测模型输出所述待预测设备是否发生故障的预测结果。
其中，所述数据预处理任务采用以下方式获得预处理后的数据：
对所述待预测设备的运行参数依次进行数据清洗处理、数据归一化处理，获得所述预处理后的数据。
所述特征提取任务采用以下方式获得特征数据集：
基于预设时间窗将所述预处理后的数据划分为多个数据组；
对于每个所述数据组，执行以下操作，获得该数据组的特征数据：
对该数据组在时域上进行特征提取，获得时域特征值；
对该数据组在频域上进行特征提取，获得频域特征值；
对该数据组在时频域上进行特征提取，获得时频域特征值；
将所述时域特征值、所述频域特征值和所述时频域特征值组成数据集，获得该数据组的特征数据；
将每个所述数据组的特征数据组成数据集，获得所述特征数据集。
本实施例中，所述故障预测模型采用以下方式获得所述预测结果：
基于所述特征数据集，获得所述待预测设备的运行状态；
基于所述待预测设备的运行状态，判断所述待预测设备是否发生故障，以获得所述预测结果。
进一步地，所述第一获取单元201获取的当前待处理的任务类型还包括：
模型训练任务，用于基于预处理后的历史数据，对预先建立的网络模型进行训练，获得所述故障预测模型；其中，所述历史数据为已经采集的所述待预测设备在预定历史时间段的运行参数；
所述预处理后的历史数据采用以下方式获得：
对所述历史数据依次进行所述数据清洗处理、所述数据归一化处理，获得所述预处理后的历史数据。
本实施例中，所述故障预测模型有多个，所述装置还包括：
模型融合单元，用于将多个所述故障预测模型进行融合，获得融合后的故障预测模型；
所述故障预测任务还用于将所述特征数据集输入所述融合后的故障预测模型中，以使所述融合后的故障预测模型输出所述待预测设备是否发生故障的预测结果。
上述装置的工作原理、工作流程等涉及具体实施方式的内容可参见本发明所提供的基于云边协同系统的任务部署方法的具体实施方式，此处不再对相同的技术内容进行详细描述。
本发明实施例提供的一种基于云边协同系统的任务部署装置，由于是基于当前待处理的数据量大小和每个边缘端节点的当前剩余资源量，从多个边缘端节点中确定出目标节点，然后将与当前待处理的任务类型对应的任务部署至该目标节点，因此，与现有的单一的云边协同系统结构相比，本发明实施例能够根据当前待处理的数据量大小和每个边缘端节点的当前剩余资源量对待处理任务进行灵活部署，避免了将预定任务部署至预定的边缘端节点，从而保证系统正常运行、且使集群资源得到最优化利用。
实施例三
根据本发明的实施例，还提供了一种存储介质，所述存储介质上存储有程序代码，所述程序代码被处理器执行时，实现如上述实施例任一项所述的基于云边协同系统的任务部署方法。
实施例四
根据本发明的实施例，还提供了一种电子设备，所述电子设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的程序代码，所述程序代码被所述处理器执行时，实现如上述实施例任一项所述的基于云边协同系统的任务部署方法。
本发明实施例提供的一种基于云边协同系统的任务部署方法、装置、存储介质及电子设备，由于是基于当前待处理的数据量大小和每个边缘端节点的当前剩余资源量，从多个边缘端节点中确定出目标节点，然后将与当前待处理的任务类型对应的任务部署至该目标节点，因此，与现有的单一的云边协同系统结构相比，本发明实施例能够根据当前待处理的数据量大小和每个边缘端节点的当前剩余资源量对待处理任务进行灵活部署，避免了将预定任务部署至预定的边缘端节点，从而保证系统正常运行、且使集群资源得到最优化利用。
本发明提出在云端对边缘端节点进行业务编排和资源分配，使工业故障预测pipeline任务从数据采集、数据预处理、特征提取、模型训练到故障预测可以根据边缘节点资源灵活部署，使集群资源得到最优化利用。当有节点宕机时，云端控制中心可根据业务需求和剩余节点资源进行动态调整，使系统正常运行。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (13)

1.一种基于云边协同系统的任务部署方法，其特征在于，所述云边协同系统包括多个边缘端节点；所述方法包括：
获取当前待处理的任务类型和当前待处理的数据量大小；
获取每个所述边缘端节点的当前剩余资源量；
基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点；
将与所述当前待处理的任务类型对应的任务部署至所述目标节点。
2.根据权利要求1所述的基于云边协同系统的任务部署方法，其特征在于，获取当前待处理的任务类型，包括：
按照预设的pipeline任务顺序获取当前待处理的任务类型。
3.根据权利要求1所述的基于云边协同系统的任务部署方法，其特征在于，所述获取每个所述边缘端节点的当前剩余资源量，包括：
获取每个所述边缘端节点的当前内存大小和当前CPU大小。
4.根据权利要求1所述的基于云边协同系统的任务部署方法，其特征在于，所述基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点，包括：
基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，判断所述多个边缘端节点中是否有能够处理所述当前待处理的数据量大小的边缘端节点；
当所述多个边缘端节点中有能够处理所述当前待处理的数据量大小的边缘端节点时，从所述多个边缘端节点中选取当前剩余资源量最大的边缘端节点作为所述目标节点。
5.根据权利要求1所述的基于云边协同系统的任务部署方法，其特征在于，所述方法应用于对设备故障的预测中；所述当前待处理的任务类型包括以下项目中的任意一项：数据采集任务、数据预处理任务、特征提取任务和故障预测任务；其中，
所述数据采集任务用于采集待预测设备的运行参数；
所述数据预处理任务用于对所述待预测设备的运行参数进行预处理，获得预处理后的数据；
所述特征提取任务用于对所述预处理后的数据进行特征提取，获得特征数据集；
所述故障预测任务用于将所述特征数据集输入预先训练好的故障预测模型中，以使所述故障预测模型输出所述待预测设备是否发生故障的预测结果。
6.根据权利要求5所述的基于云边协同系统的任务部署方法，其特征在于，所述对所述待预测设备的运行参数进行预处理，获得预处理后的数据，包括：
对所述待预测设备的运行参数依次进行数据清洗处理、数据归一化处理，获得所述预处理后的数据。
7.根据权利要求5所述的基于云边协同系统的任务部署方法，其特征在于，所述对所述预处理后的数据进行特征提取，获得特征数据集，包括：
基于预设时间窗将所述预处理后的数据划分为多个数据组；
对于每个所述数据组，执行以下操作，获得该数据组的特征数据：
对该数据组在时域上进行特征提取，获得时域特征值；
对该数据组在频域上进行特征提取，获得频域特征值；
对该数据组在时频域上进行特征提取，获得时频域特征值；
将所述时域特征值、所述频域特征值和所述时频域特征值组成数据集，获得该数据组的特征数据；
将每个所述数据组的特征数据组成数据集，获得所述特征数据集。
8.根据权利要求5所述的基于云边协同系统的任务部署方法，其特征在于，所述故障预测模型采用以下方式获得所述预测结果：
基于所述特征数据集，获得所述待预测设备的运行状态；
基于所述待预测设备的运行状态，判断所述待预测设备是否发生故障，以获得所述预测结果。
9.根据权利要求6所述的基于云边协同系统的任务部署方法，其特征在于，所述当前待处理的任务类型还包括：
模型训练任务，用于基于预处理后的历史数据，对预先建立的网络模型进行训练，获得所述故障预测模型；其中，所述历史数据为已经采集的所述待预测设备在预定历史时间段的运行参数；
所述预处理后的历史数据采用以下方式获得：
对所述历史数据依次进行所述数据清洗处理、所述数据归一化处理，获得所述预处理后的历史数据。
10.根据权利要求9所述的基于云边协同系统的任务部署方法，其特征在于，所述故障预测模型有多个，所述方法还包括：
将多个所述故障预测模型进行融合，获得融合后的故障预测模型；
所述故障预测任务还用于将所述特征数据集输入所述融合后的故障预测模型中，以使所述融合后的故障预测模型输出所述待预测设备是否发生故障的预测结果。
11.一种基于云边协同系统的任务部署装置，其特征在于，所述云边协同系统包括多个边缘端节点；所述装置包括：
第一获取单元，用于获取当前待处理的任务类型和当前待处理的数据量大小；
第二获取单元，用于获取每个所述边缘端节点的当前剩余资源量；
节点确定单元，用于基于所述当前待处理的数据量大小和每个所述边缘端节点的当前剩余资源量，从所述多个边缘端节点中确定出目标节点；
任务部署单元，用于将与所述当前待处理的任务类型对应的任务部署至所述目标节点。
12.一种存储介质，所述存储介质上存储有程序代码，其特征在于，所述程序代码被处理器执行时，实现如权利要求1至10中任一项所述的基于云边协同系统的任务部署方法。
13.一种电子设备，其特征在于，所述电子设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的程序代码，所述程序代码被所述处理器执行时，实现如权利要求1至10中任一项所述的基于云边协同系统的任务部署方法。
CN202210079870.7A 2022-01-24 2022-01-24 基于云边协同系统的任务部署方法及装置 Pending CN114706675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210079870.7A CN114706675A (zh) 2022-01-24 2022-01-24 基于云边协同系统的任务部署方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210079870.7A CN114706675A (zh) 2022-01-24 2022-01-24 基于云边协同系统的任务部署方法及装置

Publications (1)

Publication Number Publication Date
CN114706675A true CN114706675A (zh) 2022-07-05

Family

ID=82166405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210079870.7A Pending CN114706675A (zh) 2022-01-24 2022-01-24 基于云边协同系统的任务部署方法及装置

Country Status (1)

Country Link
CN (1) CN114706675A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116774946A (zh) * 2023-07-17 2023-09-19 广州华企联信息科技有限公司 基于云边融合的几何数据存储优化方法及系统
CN117714475A (zh) * 2023-12-08 2024-03-15 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116774946A (zh) * 2023-07-17 2023-09-19 广州华企联信息科技有限公司 基于云边融合的几何数据存储优化方法及系统
CN116774946B (zh) * 2023-07-17 2024-01-05 广州华企联信息科技有限公司 基于云边融合的几何数据存储优化方法及系统
CN117714475A (zh) * 2023-12-08 2024-03-15 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统

Similar Documents

Publication Publication Date Title
CN103761309B (zh) 一种运营数据处理方法及系统
US11106560B2 (en) Adaptive thresholds for containers
CN108632365B (zh) 服务资源调整方法、相关装置和设备
CN114706675A (zh) 基于云边协同系统的任务部署方法及装置
WO2019184836A1 (zh) 数据分析设备、多模型共决策系统及方法
CN109492536A (zh) 一种基于5g架构的人脸识别方法及系统
CN112513815A (zh) 训练数据中心硬件实例网络
CN112929187B (zh) 网络切片管理方法、装置和系统
CN110688213B (zh) 一种基于边缘计算的资源管理方法、系统及电子设备
CN113176948B (zh) 边缘网关、边缘计算系统及其配置方法
CN106470123A (zh) 日志收集方法、客户端、服务器和电子设备
CN113516244B (zh) 一种智能运维方法、装置、电子设备及存储介质
US20230132116A1 (en) Prediction of impact to data center based on individual device issue
CN103713935A (zh) 一种在线管理Hadoop集群资源的方法和装置
CN103905219A (zh) 一种业务平台中通信信息的监控存储系统及方法
CN110855737A (zh) 一种一致性级别可控的自适应数据同步方法和系统
CN110460662A (zh) 物联网数据的处理方法和系统
CN116627631A (zh) 资源调度方法、系统、电子设备和存储介质
CN115794373A (zh) 算力资源分级调度方法、系统、电子设备及存储介质
CN111935140A (zh) 异常报文识别方法及装置
CN110580198A (zh) OpenStack计算节点自适应切换为控制节点的方法及装置
CN114091610A (zh) 智能决策方法及装置
WO2017101997A1 (en) Monitoring arrangement, network manager and respective methods performed thereby for enabling resource management in a data centre
CN112215326A (zh) 一种分布式ai系统
CN106210120B (zh) 一种服务器的推荐方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination