CN114564312A - 一种基于自适应深度神经网络的云边端协同计算方法 - Google Patents

一种基于自适应深度神经网络的云边端协同计算方法 Download PDF

Info

Publication number
CN114564312A
CN114564312A CN202210201950.5A CN202210201950A CN114564312A CN 114564312 A CN114564312 A CN 114564312A CN 202210201950 A CN202210201950 A CN 202210201950A CN 114564312 A CN114564312 A CN 114564312A
Authority
CN
China
Prior art keywords
task
cloud
edge
computing
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210201950.5A
Other languages
English (en)
Inventor
王海泉
唐修博
郭嘉伟
邓程诺
任婷伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Innovation Institute of Beihang University
Original Assignee
Yunnan Innovation Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Innovation Institute of Beihang University filed Critical Yunnan Innovation Institute of Beihang University
Priority to CN202210201950.5A priority Critical patent/CN114564312A/zh
Publication of CN114564312A publication Critical patent/CN114564312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及一种基于自适应深度神经网络的云边端协同计算方法，属于计算机技术领域。该方法包括：S1：由外部用户向包括终端设备层、云端、边缘端的计算平台发送计算任务，确定计算任务对应的云边协同机制；其中，云边协同机制包括云辅助边缘计算模型和边缘辅助云计算模型；S2：根据步骤S1确定的云边协同机制，建立云边协同任务调度模型；S3：采用并合调度算法，同时根据云边协同机制形成分组策略，根据分组策略生成子调度方案，通过步骤S2的云边协同任务调度模型对子调度方案进行评价，在并合调度算法的指定迭代次数内，选取出评价结果最优的子调度方案；S4：根据步骤S3所得子调度方案进行归并及精调以获取最终调度方案。

Description

一种基于自适应深度神经网络的云边端协同计算方法
技术领域
本发明属于计算机技术领域，具体涉及了一种基于自适应深度神经网络的云边端协同计算方法。
背景技术
现有的计算系统大体上可以分为两类，纯云端与纯设备端。
纯云端的方式即使用者有计算任务时，便要将任务通过网络发送至云端，由云端的高算力的服务器进行计算，结算出结果之后，再将结果通过网络传回至用户端，以完成一次计算任务，这个过程对设备端设备的硬件性能与算力没有过高的要求，只需要其能做到计算任务信息的发送与接收即可。
纯设备端的方式则正好与纯云端的相反，要保证设备端的设备具备一定的算力，并且要事先将神经网络算法部署在设备端的设备上，每当用户有计算任务时，直接将这个计算任务交由设备端的设备进行计算处理，计算后直接将结果返回给用户，整个过程不需要网络的参与。
纯云端与纯设备端各有利弊。纯云端的方式由于云端服务器具有较高的算力，可以处理更为复杂的问题，但是同时由于整个过程需要网络的参与，故最终的响应时间还要受到网络拥塞情况的影响。纯设备端的方式由于整个处理过程完全在边缘设备上，整个过程不需要进行网络传输，所以响应时间主要你取决于设备处理计算的时间，但是由于边缘设备很难达到像云端服务器一样的高算力，所以对于那些问题比较复杂，所需计算量比较大的计算问题，仅仅依靠边缘端的设备来处理很难达到令人满意的效果。
因此，亟需一种能够自适应协同计算的云边端调度算法。
发明内容
有鉴于此，本发明的目的在于提供一种基于自适应深度神经网络的云边端协同计算方法，结合当前网络状态，并根据计算任务的规模动态的决定应该把任务交到云服务器上去处理还是放在边缘端设备上来处理。
为达到上述目的，本发明提供如下技术方案：
方案1：一种基于自适应深度神经网络的云边端协同计算方法，具体包括以下步骤：
S1：由外部用户向包括终端设备层、云端、边缘端的计算平台发送计算任务，确定计算任务对应的云边协同机制；其中，云边协同机制包括云辅助边缘计算模型和边缘辅助云计算模型；
S2：根据步骤S1确定的云边协同机制，建立云边协同任务调度模型；
S3：采用并合调度算法，同时根据云边协同机制形成分组策略，根据分组策略生成子调度方案，通过步骤S2的云边协同任务调度模型对子调度方案进行评价，在并合调度算法的指定迭代次数内，选取出评价结果最优的子调度方案；
S4：根据步骤S3所得子调度方案进行归并及精调以获取最终调度方案。
进一步，步骤S1中，所述云辅助边缘计算是边缘端服务器在任务执行过程中，云端向边缘端发送先验知识或历史数据；所述边缘辅助云计算是云端服务器在任务执行过程中，边缘端采集并预处理终端设备层各制造终端的数据，并发送至云端。
进一步，步骤S2中，建立云边协同任务调度模型，具体包括以下步骤：
S21：构建云边协同任务调度模型为：
Figure RE-GDA0003557613630000021
其中，问题优化目标
Figure RE-GDA0003557613630000022
主要分为两部分，其中
Figure RE-GDA0003557613630000023
表示在提交的一组计算任务请求中，完成所有任务所需的时间成本；
Figure RE-GDA0003557613630000024
表示完成所有任务所需的能耗成本；
Figure RE-GDA0003557613630000025
为任务的终止时间，
Figure RE-GDA0003557613630000026
表示完成第i个任务所需的能耗成本，n表示任务数量；Tm和Em是两个常数，用来将最大任务执行时间和执行任务的总能耗进行归一化处理；λ1,λ2是客观权重，根据对任务执行时间和能耗的需求进行设定，满足λ1+λ2＝1且λ1,λ2∈[0,1]；一般情况下，设置λ1＝λ2＝0.5，表示能耗目标和任务执行时间目标同等重要。
S22：分别根据云辅助边缘计算模型和边缘辅助云计算模型对云边协同任务调度模型的不确定性进行评估，具体为：通过区间数方法对任务Ii的计算时间
Figure RE-GDA0003557613630000027
终端到边缘端的数据传输速率
Figure RE-GDA0003557613630000028
进行描述，若需要任务重传，则任务来自设备l的数据量
Figure RE-GDA0003557613630000029
的上传时间
Figure RE-GDA00035576136300000210
需要重新计算，并通过确定的区间数、云边协同机制来计算评价结果。
进一步，步骤S22中，根据云辅助边缘计算模型对云边协同任务调度模型的不确定性进行评估，具体计算公式为：
Figure RE-GDA0003557613630000031
Figure RE-GDA0003557613630000032
Figure RE-GDA0003557613630000033
Figure RE-GDA0003557613630000034
其中，
Figure RE-GDA0003557613630000035
twait,i分别为任务Ii的数据上传时间、从云端下载数据时间以及等待服务器释放可用资源的时间，
Figure RE-GDA0003557613630000036
和
Figure RE-GDA0003557613630000037
分别为第k个任务和第i个任务的执行时间，
Figure RE-GDA0003557613630000038
为任务终止时间，Λi为任务Ii的前置任务集合；α1和α2为权重系数，满足α1+α2＝1且α1，α2∈[0,1]的条件；Rcpu,i、Rmem,i分别为任务Ii的CPU和内存请求，
Figure RE-GDA0003557613630000039
为设备
Figure RE-GDA00035576136300000310
的传输功率，Ccpu,j、Cmem,j分别为指派边缘服务器的CPU和内存容量，
Figure RE-GDA00035576136300000311
和
Figure RE-GDA00035576136300000312
分别是服务器静态功率与动态功率。
进一步，步骤S22中，根据边缘辅助云计算模型对云边协同任务调度模型的不确定性进行评估，具体计算公式为：
Figure RE-GDA00035576136300000313
Figure RE-GDA00035576136300000314
Figure RE-GDA00035576136300000315
Figure RE-GDA00035576136300000316
其中，βi表示任务Ii是否需要在边缘节点进行预处理，对于不需要在边缘节点上对数据进行预处理的任务，βi＝0；反之，βi＝1；
Figure RE-GDA00035576136300000317
表示任务Ii的数据上传至云端所需时间。
进一步，步骤S3中，根据云边协同机制形成分组策略，具体包括以下步骤：
S301：对工业计算任务进行排序，计算各工业计算任务的可延迟时间，获取任务属性集合C；
C＝{Rcpu,i,Rmen,i,time_delayi}
其中，time_delayi表示工业计算任务的可延迟时间；
S302：对任务属性集合C中的三种属性进行降序排列，获取综合排序结果Si，并进行升序排列；
Figure RE-GDA0003557613630000041
其中，N为任务个数，Pc,i为任务在c属性独立排序中位置；
S303：计算云端各服务器的资源能耗成本，对云端所有服务器进行资源能耗成本排序；其中，资源能耗成本计算公式为：
Figure RE-GDA0003557613630000042
其中，overheadE/C,j为云服务器Scloud,j的资源能耗成本；
S304：对工业计算任务进行分组，根据步骤S302所得升序排列结果进行顺序均匀分组，同时根据资源成本排序对云端服务器分组，前半段进程中的计算任务所分云端服务器数量与后半段进程中的计算任务所分云端服务器数量之比为3:2。
进一步，步骤S3中，在并合调度算法中，通过预防性调度判定方法判定服务器资源可满足性并计算任务等待时间twait,i，以获取子调度结果；预防性调度判定方法的具体步骤为：
S311：计算当前工业计算任务的可延迟时间time_delayi＝tmax,i-ti，其中tmax,i和ti为任务 Ii的最大执行时间和预期计算时间；
S312：在步骤S311所得可延迟时间内，按照可用服务器列表顺序进行判定，判断当前服务器是否满足当前工业计算任务的计算需求,其中，判定方法具体为：
Figure RE-GDA0003557613630000043
Figure RE-GDA0003557613630000044
其中，
Figure RE-GDA0003557613630000045
为服务器中正在执行的任务集合，trest,jk为任务集合中的任务Ijk的剩余执行时间，Rcpu,jk、Rmem,jk为任务Ijk的CPU和内存请求；
S313：计算并合调度算法输出结果对应的任务Ii的预计等待时间，具体为：
Figure RE-GDA0003557613630000046
S314：根据计算所得任务Ii的预计等待时间计算工业计算任务的完成时间，具体为：
Figure RE-GDA0003557613630000051
进一步，步骤S4具体包括：获取子调度方案后，通过各工业计算任务对应层级、工业计算任务分组结果、云端服务器分组结果进行子调度方案归并，获取总调度方案后通过Best Fit策略，利用总调度方案的任务最大完成时间及总能耗成本进行精调以获取最优调度方案；
总调度方案的任务最大完成时间及总能耗成本计算公式为：
Figure RE-GDA0003557613630000052
Figure RE-GDA0003557613630000053
Figure RE-GDA0003557613630000054
其中，M为分组进程数，timemax,i和Ei分别为进程i所得子调度方案的任务最大完成时间和能耗成本，Zfinal为总调度方案的优化目标值。
方案2：一种基于自适应深度神经网络的云边端协同计算系统，包括设备端、边缘端和云端；
设备端，用于采集原始数据并进行数据预处理，对多种传感器获取到的不同参考系下的数据进行自动配准和坐标转换，归一化为统一坐标系的数据，方便进行后续的实体交互任务；然后，在协同计算调度层中，根据对应实体交互任务的特点进行计算任务单元的拆分。
在计算任务单元任务拆分完成后，分布在移动端、边缘端和云端的运行节点根据构造的链表创建协同计算调度有向图，并根据该有向图动态获取相关带权边的权重，然后应用动态计算单元调度算法获得最优调度方案(路线)。
同时，在移动端运行交互任务前，在有多个互斥子任务的情况下，移动端运行框架综合评估子任务工作流情况、当前网络延迟情况以及云端和边缘端拥塞情况，计算预估的精度损失程度和延迟程度，并通过预先设置偏向权重的多目标决策算法获取最优的模型尺寸选择方案调度运行，以达到响应速度和精度的平衡；
计算任务单元在上传到对应的目标计算端后，其被送入一个等待队列中等待处理，然后被多路计算单元取出并处理；系统动态感知计算任务到达时间构成时间序列，并通过滑动窗口采样点方法估计到达的计算任务和处理计算任务所满足的概率分布，并进一步计算预估的平均等待延迟，供协同计算层优化决策。本算法框架中，在原始数据提取与处理阶段，通过将棋盘格标定板与ARUCO码结合的方式实现了高鲁棒性的自动高精度数据配准；在自适应深度神经网络计算任务拆分部分，通过静态拆分任务单元、动态构造流水线决策DAG 图的形式，使得问题分步决策，将可变参数集中控制；通过引入强连通分量分析，使得计算图中含有环的任务也可被合理拆分，并可实现在线局部更新策略的模式；同时，引入模型尺寸决策算法，使得最终的实体交互任务可以在响应时间和精度表现上取得平衡。
本方案的工作原理及有益效果在于：本发明可以在云边端协同运行以解决不同规模问题，相比于传统的纯云端与纯边端思想，本发明的创新之处在于可以动态的根据用户输入的问题复杂情况与问题规模的大小来调整解决策略，如果用户输入的问题复杂度较高，规模较大，则将其传入云端解决，反之，则将其在本地边缘设备上解决。本发明在原本只考虑问题本身 (即问题的规模与问题的复杂度)的基础上，还进一步进行优化，通过动态分析当前网络的拥塞情况，结合问题的本身复杂情况，综合来决定采用何种方式进行处理计算任务。
综上，本发明相较于传统方法的优势在于，本发明可以综合考虑计算问题的规模与当前网络的拥塞情况动态的给出计算任务的解决策略。在“网络拥塞可能带来时间延迟”与“边缘设备算力不足”这两者之间动态的做出权衡与选择，能够在最大程度上保证最短的平均响应时间。
本发明具体有益效果：
(1)本发明采用了云边端协同计算模式，该模式结合了实际应用场景实体交互所涉及到的计算任务的特点，选择合适的计算模式，实现了各端计算资源的合理调度分配，达到效率提升的结果。
(2)本发明采用了适配深度神经网络的自适应协同计算调度算法；
自适应协同计算调度算法是通过综合模型各层计算量、云端服务器吞吐量、网络通信时延等数据，动态地做出合理的计算卸载方式选择，将计算任务合理地分配到设备端、边缘端、云端三方中，以期达到延迟小、性能高的多目标优化效果。
同时，算法还对模型尺寸进行决策。实体交互的任务工作流中，通常涉及到多种类型的子任务，其中具有前序关系的子任务序列中，每个子任务常常又具备多种大小的模型尺寸，通常大模型精度更优秀，小模型则运算代价更低。该算法结合了当前情况，自适应地选择合适的模型大小，达到了精度与响应速度的平衡。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
图1为本发明基于自适应深度神经网络的云边端协同计算系统的整体框架图；
图2为配置有16核CPU的服务器的状态示意图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例1：
如图1所示，本实施例提供了基于自适应深度神经网络的云边端协同计算系统，整个系统划分为设备端、边缘端和云端三大部分，设备端即为增强现实交互设备，位于用户侧桌面场景中，负责采集原始数据，进行预处理，并直接于用户交互。边缘端为地区性的边缘服务器，其算力适中，具有GPU等并行计算加速单元，部署在地区性的机房或基站中。云端则为中心计算服务集群，位于中心机房，算力最强。
设备端采集原始数据并进行数据预处理，对多种传感器获取到的不同参考系下的数据进行自动配准和坐标转换，归一化为统一坐标系的数据，方便进行后续的实体交互任务。随后，在协同计算调度层中，根据对应实体交互任务的特点进行计算任务单元的拆分。
在计算任务拆分完成后，分布在移动端、边缘端和云端的运行节点根据构造的链表创建协同计算调度有向图，并根据该图动态获取相关带权边的权重，随后应用动态计算单元调度算法获得最优调度方案(路线)。
同时，在移动端运行交互任务前，在有多个互斥子任务的情况下，移动端运行框架综合评估子任务工作流情况、当前网络延迟情况以及云端和边缘端拥塞情况，计算预估的精度损失程度和延迟程度，并通过预先设置偏向权重的多目标决策算法获取最优的模型尺寸选择方案调度运行，以达到响应速度和精度的平衡。
计算任务单元在上传到对应的目标计算端后，其被送入一个等待队列中等待处理，随后被多路计算单元取出并处理。系统动态感知计算任务到达时间构成时间序列，并通过滑动窗口采样点方法估计到达的计算任务和处理计算任务所满足的概率分布，并进一步计算预估的平均等待延迟，供协同计算层优化决策。本算法框架中，在原始数据提取与处理阶段，通过将棋盘格标定板与ARUCO码结合的方式实现了高鲁棒性的自动高精度数据配准；在自适应深度神经网络计算任务拆分部分，通过静态拆分任务单元、动态构造流水线决策DAG图的形式，使得问题分步决策，将可变参数集中控制；通过引入强连通分量分析，使得计算图中含有环的任务也可被合理拆分，并可实现在线局部更新策略的模式；同时，引入模型尺寸决策算法，使得最终的实体交互任务可以在响应时间和精度表现上取得平衡。
实施例2：
本实施例提供了基于自适应深度神经网络的云边端协同计算方法，具体包括以下步骤：
(1)由外部用户向包括终端设备层、云端、边缘端的计算平台发送计算任务，确定计算任务对应的云边协同机制；其中，云边协同机制包括云辅助边缘计算、边缘辅助云计算，具体为：
云辅助边缘计算：边缘端服务器在任务执行过程中，云端向边缘端发送先验知识或历史数据。
边缘辅助云计算：云端服务器在任务执行过程中，边缘端采集并预处理终端设备层各制造终端的数据，并发送至云端。
(2)根据步骤(1)确定的云边协同机制，建立云边协同任务调度模型。其中，云边协同任务调度模型具体为：
Figure RE-GDA0003557613630000081
其中，问题优化目标
Figure RE-GDA0003557613630000082
主要分为两部分，其中
Figure RE-GDA0003557613630000083
表示的是在提交的一组计算任务请求中，完成所有任务所需的时间成本，
Figure RE-GDA0003557613630000084
表示的是完成所有任务所需的能耗成本， Tm和Em是两个常数，用来将最大任务执行时间和执行任务的总能耗进行归一化处理。λ1,λ2是客观权重，根据对任务执行时间和能耗的需求进行设定，满足λ1+λ2＝1且λ1,λ2∈[0,1] 一般情况下，设置λ1＝λ2＝0.5，表示能耗目标和任务执行时间目标同等重要。需对云边协同任务调度模型的不确定性进行评估，通过区间数方法对任务Ii的计算时间
Figure RE-GDA0003557613630000085
终端到边缘端的数据传输速率
Figure RE-GDA0003557613630000086
进行描述，若需要任务重传，则任务来自设备l的数据量
Figure RE-GDA0003557613630000087
的上传时间
Figure RE-GDA0003557613630000088
需要重新计算，并通过确定的区间数、云边协同机制进行评价结果计算，具体为：
采用云边协同机制为云辅助边缘计算时：
Figure RE-GDA0003557613630000091
Figure RE-GDA0003557613630000092
Figure RE-GDA0003557613630000093
Figure RE-GDA0003557613630000094
其中，
Figure RE-GDA0003557613630000095
twait,i分别为任务Ii的数据上传时间、从云端下载数据时间以及等待服务器释放可用资源的时间，
Figure RE-GDA0003557613630000096
和
Figure RE-GDA0003557613630000097
分别为第k个任务和第i个任务的执行时间，
Figure RE-GDA0003557613630000098
为任务终止时间，Λi为任务Ii的前置任务集合，α1和α2为权重系数，满足α1+α2＝1且α1,α2∈[0,1]的条件，Rcpu,i、Rmem,i分别为任务Ii的CPU和内存请求，
Figure RE-GDA0003557613630000099
为设备
Figure RE-GDA00035576136300000910
的传输功率Ccpu,j、Cmem,j分别为指派边缘服务器的CPU和内存容量，
Figure RE-GDA00035576136300000911
和
Figure RE-GDA00035576136300000912
分别是服务器静态功率与动态功率；
采用云边协同机制为边缘辅助云计算时：
Figure RE-GDA00035576136300000913
Figure RE-GDA00035576136300000914
Figure RE-GDA00035576136300000915
Figure RE-GDA00035576136300000916
其中，β表示任务Ii是否需要在边缘节点进行预处理，对于不需要在边缘节点上对数据进行预处理的任务，β＝0；反之，β＝1。
Figure RE-GDA00035576136300000917
表示任务Ii的数据上传至云端所需时间。
(3)运行并合调度算法，分组并生成子调度方案，通过步骤(2)云边协同任务调度模型对子调度方案进行评价，在并合调度算法的指定迭代次数内，选取评价结果最优的子调度方案进行输出；
其中，并合调度算法开始时，根据云边协同机制进行分组策略设计，具体为：
1)对工业计算任务进行排序，计算各工业计算任务的可延迟时间，获取任务属性集合C；
C＝{Rcpu,i,Rmen,i,time_delayi}
2)对任务属性集合中的三种属性进行降序排列，获取综合排序结果Si，并进行升序排列，具体为：
Figure RE-GDA0003557613630000101
其中，N为任务个数，Pc,i为任务在c属性独立排序中位置。
3)计算云端各服务器的资源能耗成本，对云端所有服务器进行资源成本排序，资源能耗成本计算公式如下：
Figure RE-GDA0003557613630000102
其中，overheadE/C,j为云服务器Scloud,j的资源能耗成本。
4)对工业计算任务进行分组，根据步骤2)所得升序排列结果进行顺序均匀分组，同时根据资源成本排序对云端服务器分组，前半段进程中的计算任务所分云端服务器数量与后半段进程中的计算任务所分云端服务器数量之比为3：2。
具体的，在并合调度算法中，通过预防性调度判定方法判定服务器资源可满足性并计算任务等待时间twait,i，以获取子调度结果，预防性调度判定的具体步骤如下：
1)计算当前工业计算任务的可延迟时间time_delayi＝tmax,i-ti，其中tmax,i和ti为任务Ii的最大执行时间和预期计算时间。
2)在步骤(1)所得可延迟时间内，按照可用服务器列表顺序进行判定，判断当前服务器是否满足当前工业计算任务的计算需求,其中，判定方法具体为：
Figure RE-GDA0003557613630000103
Figure RE-GDA0003557613630000104
其中，
Figure RE-GDA0003557613630000105
为服务器中正在执行的任务集合，trest,jk为任务集合中的任务Ijk的剩余执行时间。
3)计算并合调度算法输出结果对应的任务Ii的预计等待时间，具体为：
Figure RE-GDA0003557613630000106
4)根据计算所得任务Ii的预计等待时间计算工业计算任务的完成时间，具体为：
Figure RE-GDA0003557613630000111
(4)根据步骤(3)所得子调度方案进行归并及精调以获取最终调度方案。其中，获取子调度方案后，通过各工业计算任务对应层级、工业计算任务分组结果、云端服务器分组结果进行子调度方案归并，获取总调度方案后通过Best Fit策略，利用总调度方案的任务最大完成时间及总能耗成本进行精调以获取最终调度方案。其中，总调度方案的任务最大完成时间及总能耗成本计算公式具体为：
Figure RE-GDA0003557613630000112
Figure RE-GDA0003557613630000113
Figure RE-GDA0003557613630000114
其中，M为分组进程数，timemax,i和Ei分别为进程i所得子调度方案的任务最大完成时间和能耗成本，Zfinal为总调度方案的优化目标值。
实施例3：下面结合具体实施例进行进一步说明：
在本实施例中，如图2所示，配置一个有16核CPU的服务器的当前状态，其中x轴表示任务剩余完成时间，y轴表示服务器的CPU资源使用情况。服务器中有四个计算任务正在进行。对于任务Ii来说，服务器在当前状态下可提供的CPU核数仅有8个核。若采用本模型中的预防性判定方法，在任务最大可延迟时间内，即0～time_delayi时间段内，共有三个任务
Figure RE-GDA0003557613630000115
将完成计算，然后释放计算资源。可以推断服务器实际可提供的CPU核数为14 核。其中标注为S2部分的8核为直接可提供资源，标注为S1阴影区的6个核为可能资源，将会被其他三个任务在可等待时间内释放。因此，当任务Ii可以被分配到服务器Sk，其预计等待时间twait,j可通过下式进行计算：
Figure RE-GDA0003557613630000116
在建模中考虑多种不确定性，需针对不确定性的评估方法进行设计，在不确定性分析中，采用区间数的方法描述了无线网络传输速率及任务计算时间的不确定性。一个区间数可定义如下公式所示：
Figure RE-GDA0003557613630000117
其中，a-、a+分别表示区间数在实数域上的左极限和右极限。若a-＝a+＝a，则
Figure RE-GDA0003557613630000121
是一个实数。
区间数同一般实数一样也可以进行二元运算，下面三式给出扩展的区间数二元运算操作：
Figure RE-GDA0003557613630000122
Figure RE-GDA0003557613630000123
Figure RE-GDA0003557613630000124
本实施例采用区间序方法实现区间数的比较。定义区间中点及区间半宽如公式：
Figure RE-GDA0003557613630000125
Figure RE-GDA0003557613630000126
使用区间序关系≤mw来定义区间优劣。即对于区间数
Figure RE-GDA0003557613630000127
和
Figure RE-GDA0003557613630000128
当且仅当
Figure RE-GDA0003557613630000129
且
Figure RE-GDA00035576136300001210
时，区间
Figure RE-GDA00035576136300001211
优于
Figure RE-GDA00035576136300001212
同时，于以上运算操作及优劣比较方法，结合两种云边协同模式，依据公式如下：
Figure RE-GDA00035576136300001213
Figure RE-GDA00035576136300001214
Figure RE-GDA00035576136300001215
Figure RE-GDA00035576136300001216
Figure RE-GDA00035576136300001217
Figure RE-GDA00035576136300001218
Figure RE-GDA00035576136300001219
Figure RE-GDA00035576136300001220
计算可得到区间数形式的调度方案的目标函数值
Figure RE-GDA00035576136300001221
并在种群更新或选择过程中采用以上区间数比较方法。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和本发明的实用性。

Claims (9)

1.一种基于自适应深度神经网络的云边端协同计算方法，其特征在于，该方法具体包括以下步骤：
S1：由外部用户向包括终端设备层、云端、边缘端的计算平台发送计算任务，确定计算任务对应的云边协同机制；其中，云边协同机制包括云辅助边缘计算模型和边缘辅助云计算模型；
S2：根据步骤S1确定的云边协同机制，建立云边协同任务调度模型；
S3：采用并合调度算法，同时根据云边协同机制形成分组策略，根据分组策略生成子调度方案，通过步骤S2的云边协同任务调度模型对子调度方案进行评价，在并合调度算法的指定迭代次数内，选取出评价结果最优的子调度方案；
S4：根据步骤S3所得子调度方案进行归并及精调以获取最终调度方案。
2.根据权利要求1所述的云边端协同计算方法，其特征在于，步骤S1中，所述云辅助边缘计算是边缘端服务器在任务执行过程中，云端向边缘端发送先验知识或历史数据；所述边缘辅助云计算是云端服务器在任务执行过程中，边缘端采集并预处理终端设备层各制造终端的数据，并发送至云端。
3.根据权利要求1所述的云边端协同计算方法，其特征在于，步骤S2中，建立云边协同任务调度模型，具体包括以下步骤：
S21：构建云边协同任务调度模型为：
Figure RE-FDA0003557613620000011
其中，问题优化目标
Figure RE-FDA0003557613620000012
分为两部分，其中
Figure RE-FDA0003557613620000013
表示在提交的一组计算任务请求中，完成所有任务所需的时间成本；
Figure RE-FDA0003557613620000014
表示完成所有任务所需的能耗成本；
Figure RE-FDA0003557613620000015
为任务的终止时间，
Figure RE-FDA0003557613620000016
表示进程i所得子调度方案的能耗成本，n表示任务数量；Tm和Em是两个常数，用来将最大任务执行时间和执行任务的总能耗进行归一化处理；λ1,λ2是客观权重，根据对任务执行时间和能耗的需求进行设定，满足λ1+λ2＝1且λ1,λ2∈[0,1]；
S22：分别根据云辅助边缘计算模型和边缘辅助云计算模型对云边协同任务调度模型的不确定性进行评估，具体为：通过区间数方法对任务Ii的计算时间
Figure RE-FDA0003557613620000017
终端到边缘端的数据传输速率
Figure RE-FDA0003557613620000021
进行描述，若需要任务重传，则任务来自设备l的数据量
Figure RE-FDA0003557613620000022
的上传时间
Figure RE-FDA0003557613620000023
需要重新计算，并通过确定的区间数、云边协同机制来计算评价结果。
4.根据权利要求3所述的云边端协同计算方法，其特征在于，步骤S22中，根据云辅助边缘计算模型对云边协同任务调度模型的不确定性进行评估，具体计算公式为：
Figure RE-FDA0003557613620000024
Figure RE-FDA0003557613620000025
Figure RE-FDA0003557613620000026
Figure RE-FDA0003557613620000027
其中，
Figure RE-FDA0003557613620000028
分别为任务Ii的数据上传时间、从云端下载数据时间以及等待服务器释放可用资源的时间，
Figure RE-FDA0003557613620000029
和
Figure RE-FDA00035576136200000210
分别为第k个任务和第i个任务的执行时间，
Figure RE-FDA00035576136200000211
为任务终止时间，Λi为任务Ii的前置任务集合；α1和α2为权重系数，满足α1+α2＝1且α1，α2∈[0,1]的条件；Rcpu,i、Rmem,i分别为任务Ii的CPU和内存请求，
Figure RE-FDA00035576136200000212
为设备
Figure RE-FDA00035576136200000213
的传输功率，Ccpu,j、Cmem,j分别为指派边缘服务器的CPU和内存容量，
Figure RE-FDA00035576136200000214
和
Figure RE-FDA00035576136200000215
分别是服务器静态功率与动态功率。
5.根据权利要求4所述的云边端协同计算方法，其特征在于，步骤S22中，根据边缘辅助云计算模型对云边协同任务调度模型的不确定性进行评估，具体计算公式为：
Figure RE-FDA00035576136200000216
Figure RE-FDA00035576136200000217
Figure RE-FDA00035576136200000218
Figure RE-FDA00035576136200000219
其中，βi表示任务Ii是否需要在边缘节点进行预处理，对于不需要在边缘节点上对数据进行预处理的任务，βi＝0；反之，βi＝1；
Figure RE-FDA00035576136200000220
表示任务Ii的数据上传至云端所需时间。
6.根据权利要求5所述的云边端协同计算方法，其特征在于，步骤S3中，根据云边协同机制形成分组策略，具体包括以下步骤：
S301：对工业计算任务进行排序，计算各工业计算任务的可延迟时间，获取任务属性集合C；
C＝{Rcpu,i,Rmen,i,time_delayi}
其中，time_delayi表示工业计算任务的可延迟时间；
S302：对任务属性集合C中的三种属性进行降序排列，获取综合排序结果Si，并进行升序排列；
Figure RE-FDA0003557613620000031
其中，N为任务个数，Pc,i为任务在c属性独立排序中位置；
S303：计算云端各服务器的资源能耗成本，对云端所有服务器进行资源能耗成本排序；其中，资源能耗成本计算公式为：
Figure RE-FDA0003557613620000032
其中，overheadE/C,j为云服务器Scloud,j的资源能耗成本；
S304：对工业计算任务进行分组，根据步骤S302所得升序排列结果进行顺序均匀分组，同时根据资源成本排序对云端服务器分组，前半段进程中的计算任务所分云端服务器数量与后半段进程中的计算任务所分云端服务器数量之比为3:2。
7.根据权利要求6所述的云边端协同计算方法，其特征在于，步骤S3中，在并合调度算法中，通过预防性调度判定方法判定服务器资源可满足性并计算任务等待时间twait,i，以获取子调度结果；预防性调度判定方法的具体步骤为：
S311：计算当前工业计算任务的可延迟时间time_delayi＝tmax,i-ti，其中tmax,i和ti为任务Ii的最大执行时间和预期计算时间；
S312：在步骤S311所得可延迟时间内，按照可用服务器列表顺序进行判定，判断当前服务器是否满足当前工业计算任务的计算需求,其中，判定方法具体为：
Figure RE-FDA0003557613620000033
Figure RE-FDA0003557613620000034
其中，
Figure RE-FDA0003557613620000035
为服务器中正在执行的任务集合，trest,jk为任务集合中的任务Ijk的剩余执行时间，Rcpu,jk、Rmem,jk为任务Ijk的CPU和内存请求；
S313：计算并合调度算法输出结果对应的任务Ii的预计等待时间，具体为：
Figure RE-FDA0003557613620000041
S314：根据计算所得任务Ii的预计等待时间计算工业计算任务的完成时间，具体为：
Figure RE-FDA0003557613620000042
8.根据权利要求7所述的云边端协同计算方法，其特征在于，步骤S4具体包括：获取子调度方案后，通过各工业计算任务对应层级、工业计算任务分组结果、云端服务器分组结果进行子调度方案归并，获取总调度方案后通过Best Fit策略，利用总调度方案的任务最大完成时间及总能耗成本进行精调以获取最优调度方案；
总调度方案的任务最大完成时间及总能耗成本计算公式为：
Figure RE-FDA0003557613620000043
Figure RE-FDA0003557613620000044
Figure RE-FDA0003557613620000045
其中，M为分组进程数，timemax,i和Ei分别为进程i所得子调度方案的任务最大完成时间和能耗成本，Zfinal为总调度方案的优化目标值。
9.一种基于自适应深度神经网络的云边端协同计算系统，其特征在于，该系统包括设备端、边缘端和云端；
设备端，用于采集原始数据并进行数据预处理，对多种传感器获取到的不同参考系下的数据进行自动配准和坐标转换，归一化为统一坐标系的数据，然后，在协同计算调度层中，根据对应实体交互任务的特点进行计算任务单元的拆分；
在计算任务单元任务拆分完成后，分布在移动端、边缘端和云端的运行节点根据构造的链表创建协同计算调度有向图，并根据该有向图动态获取相关带权边的权重，然后应用动态计算单元调度算法获得最优调度方案；
同时，在移动端运行交互任务前，在有多个互斥子任务的情况下，移动端运行框架综合评估子任务工作流情况、当前网络延迟情况以及云端和边缘端拥塞情况，计算预估的精度损失程度和延迟程度，并通过预先设置偏向权重的多目标决策算法获取最优的模型尺寸选择方案调度运行，以达到响应速度和精度的平衡；
计算任务单元在上传到对应的目标计算端后，其被送入一个等待队列中等待处理，然后被多路计算单元取出并处理；系统动态感知计算任务到达时间构成时间序列，并通过滑动窗口采样点方法估计到达的计算任务和处理计算任务所满足的概率分布，并进一步计算预估的平均等待延迟，供协同计算层优化决策。
CN202210201950.5A 2022-03-03 2022-03-03 一种基于自适应深度神经网络的云边端协同计算方法 Pending CN114564312A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210201950.5A CN114564312A (zh) 2022-03-03 2022-03-03 一种基于自适应深度神经网络的云边端协同计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210201950.5A CN114564312A (zh) 2022-03-03 2022-03-03 一种基于自适应深度神经网络的云边端协同计算方法

Publications (1)

Publication Number Publication Date
CN114564312A true CN114564312A (zh) 2022-05-31

Family

ID=81718199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210201950.5A Pending CN114564312A (zh) 2022-03-03 2022-03-03 一种基于自适应深度神经网络的云边端协同计算方法

Country Status (1)

Country Link
CN (1) CN114564312A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116166405A (zh) * 2023-04-21 2023-05-26 北京燧原智能科技有限公司 异构场景下的神经网络任务调度策略确定方法及装置
CN116366649A (zh) * 2023-06-01 2023-06-30 中电云脑(天津)科技有限公司 一种边云协同的脑电数据任务调度方法和系统
CN117097797A (zh) * 2023-10-19 2023-11-21 浪潮电子信息产业股份有限公司 云边端协同方法、装置、系统、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802553A (zh) * 2017-01-13 2017-06-06 清华大学 一种基于强化学习的铁路机车运行操控系统混合任务调度方法
US20200057675A1 (en) * 2018-08-16 2020-02-20 EMC IP Holding Company LLC Workflow optimization
CN111611062A (zh) * 2020-05-06 2020-09-01 南京邮电大学 云边协同分层计算方法及云边协同分层计算系统
CN112101532A (zh) * 2020-11-18 2020-12-18 天津开发区精诺瀚海数据科技有限公司 一种基于边云协同的自适应多模型驱动设备故障诊断方法
CN113553146A (zh) * 2021-04-25 2021-10-26 北京航空航天大学 一种基于云边协同计算任务并合调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802553A (zh) * 2017-01-13 2017-06-06 清华大学 一种基于强化学习的铁路机车运行操控系统混合任务调度方法
US20200057675A1 (en) * 2018-08-16 2020-02-20 EMC IP Holding Company LLC Workflow optimization
CN111611062A (zh) * 2020-05-06 2020-09-01 南京邮电大学 云边协同分层计算方法及云边协同分层计算系统
CN112101532A (zh) * 2020-11-18 2020-12-18 天津开发区精诺瀚海数据科技有限公司 一种基于边云协同的自适应多模型驱动设备故障诊断方法
CN113553146A (zh) * 2021-04-25 2021-10-26 北京航空航天大学 一种基于云边协同计算任务并合调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟长溢: "基于深度神经网络的边-云协同计算模型与算法研究", 《中国硕士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116166405A (zh) * 2023-04-21 2023-05-26 北京燧原智能科技有限公司 异构场景下的神经网络任务调度策略确定方法及装置
CN116366649A (zh) * 2023-06-01 2023-06-30 中电云脑(天津)科技有限公司 一种边云协同的脑电数据任务调度方法和系统
CN116366649B (zh) * 2023-06-01 2023-09-05 中电云脑(天津)科技有限公司 一种边云协同的脑电数据任务调度方法和系统
CN117097797A (zh) * 2023-10-19 2023-11-21 浪潮电子信息产业股份有限公司 云边端协同方法、装置、系统、电子设备及可读存储介质
CN117097797B (zh) * 2023-10-19 2024-02-09 浪潮电子信息产业股份有限公司 云边端协同方法、装置、系统、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109561148B (zh) 边缘计算网络中基于有向无环图的分布式任务调度方法
CN114564312A (zh) 一种基于自适应深度神经网络的云边端协同计算方法
CN111953758B (zh) 一种边缘网络计算卸载和任务迁移方法及装置
CN112039965B (zh) 一种时间敏感网络中的多任务卸载方法及系统
CN108509276A (zh) 一种边缘计算环境中的视频任务动态迁移方法
Chen et al. Multiuser computation offloading and resource allocation for cloud–edge heterogeneous network
CN107172166A (zh) 面向工业智能化服务的云雾计算系统
CN113434212A (zh) 基于元强化学习的缓存辅助任务协作卸载与资源分配方法
US11831708B2 (en) Distributed computation offloading method based on computation-network collaboration in stochastic network
CN111984419B (zh) 一种边缘环境可靠性约束的复杂任务计算迁移方法
CN111988787B (zh) 一种任务的网络接入和服务放置位置选择方法及系统
CN114595049A (zh) 一种云边协同任务调度方法及装置
CN111836284B (zh) 基于移动边缘计算的能耗优化计算、卸载方法和系统
CN109947574A (zh) 一种基于雾网络的车辆大数据计算卸载方法
CN113867843B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
EP4024212A1 (en) Method for scheduling interference workloads on edge network resources
CN114585006B (zh) 基于深度学习的边缘计算任务卸载和资源分配方法
WO2023124947A1 (zh) 一种任务处理方法、装置及相关设备
CN109005211B (zh) 一种无线城域网环境下的微云部署及用户任务调度方法
CN112799823A (zh) 边缘计算任务的在线分派调度方法和系统
CN111711962A (zh) 一种移动边缘计算系统子任务协同调度方法
Lin et al. A model-based approach to streamlining distributed training for asynchronous SGD
CN112231085A (zh) 一种协同环境下基于时间感知的移动终端任务迁移方法
CN113573342B (zh) 一种基于工业物联网的节能计算卸载方法
CN115033359A (zh) 一种基于时延控制的物联代理多任务调度方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220531