CN110198339B - 一种基于QoE感知的边缘计算任务调度方法 - Google Patents
一种基于QoE感知的边缘计算任务调度方法 Download PDFInfo
- Publication number
- CN110198339B CN110198339B CN201910307861.7A CN201910307861A CN110198339B CN 110198339 B CN110198339 B CN 110198339B CN 201910307861 A CN201910307861 A CN 201910307861A CN 110198339 B CN110198339 B CN 110198339B
- Authority
- CN
- China
- Prior art keywords
- task
- model
- execution
- qoe
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于QoE感知的边缘计算任务调度方法。步骤为:路由器周期收集设备资源状态信息以及网络状态信息。当路由器接收到任务调度请求时,首先根据预测模型,预测任务在不同设备上的执行时间。在此基础上,基于设备资源状态信息、网络状态信息以及任务本身数据,建立边缘计算任务调度模型,并使用线性规划模型求解器求解任务调度模型,得到任务调度结果。最后,基于任务调度结果,路由器负责将任务分发到对应的边缘设备/云服务器上执行,并将结果返回至任务请求设备。
Description
技术领域
本发明涉及一种基于QoE感知的边缘计算任务调度方法。
背景技术
物联网技术的发展带来了海量的异构数据以及大量的物联网设备。在视频监控领域,一个800万像素的摄像头,每小时产生3.6GB的数据,一个城市一个月的数据量就达到了数百PB。目前,大部分物联网数据的处理依靠云计算技术。数据量的增加给云计算带来了新的挑战。一是云计算的计算能力无法实时处理海量的数据。物联网环境下,数据量呈现爆炸式的增长,云计算技术虽然可以通过增加集群中设备的数量提高系统的计算能力,但是,其仍然无法满足海量数据实时计算的要求。二是大量数据从网络设备传输到云端,增加了网络负载,造成网络时延过大。云计算设备通常与终端设备相距较远,因此,在数据传输的过程中,会有相对较大的延迟,从而增加终端等待的时间,降低数据处理的实时性。三是云计算环境下,数据安全与用户隐私问题尤为突出。当用户使用云计算服务时,用户的隐私数据会被上传到云端,增加了用户数据泄露的风险。
边缘计算是最近兴起的一种计算模式,通过在数据源附近的网络边缘执行数据处理来优化云计算系统。边缘计算技术将原有的云计算模型的部分或全部计算任务迁移到网络边缘设备上,进而降低云计算中心的计算负载,减缓网络带宽的压力,提高数据处理的效率。与云计算相比,边缘计算具有以下优点:一是边缘设备往往距离数据产生设备较近,相比于云计算,数据传输延迟可以大大降低;二是用户的隐私数据传递到边缘设备处理,无需传输到云服务器,一定程度上降低了用户数据泄露的风险。
任务调度技术是边缘计算的关键技术之一。在物联网场景中,边缘设备的异构性强,路由器、智能手机、PC等都可以作为边缘设备,不同设备的计算资源以及网络条件千差万别。另外,边缘计算任务也各不相同。一些任务需要较高的精度;一些任务对结果的准确性要求较低,需要任务快速返回执行结果。任务调度技术决定了边缘设备计算资源的使用效率,是影响边缘计算系统性能的关键。传统的任务调度算法没有考虑动态的网络状态变化以及设备资源的差异对任务执行时间的影响,存在一定的缺陷,可能导致设备负载不均衡,对任务的执行效率造成一定的影响。
总的来看,基于实时网络状态和设备资源的多任务协同调度可以更好地利用边缘计算系统中的计算资源,实现各个边缘设备之间的负载均衡,以提高任务的执行效率。
发明内容
本发明要克服现有技术的上述缺点,提供了一种基于QoE感知的边缘计算任务调度方法。
本发明考虑的任务场景如下。网络中存在四种不同类型的设备,分别是终端设备、路由器、边缘设备、云服务器。其中,终端设备一般计算资源有限,负责发起任务请求,并将任务信息发送给路由器;路由器是整个系统的核心,主要有2个功能:一是周期收集系统中所有设备的网络状态信息以及设备资源信息;二是接收终端设备发送的任务请求,结合系统中各个设备的资源信息,实现任务调度;边缘设备负责执行终端设备所请求的任务,一般距离终端设备和路由器较近。以智能家居系统为例,边缘设备可以是家庭中的智能手机、PC等,相比于终端设备,边缘设备的计算能力更强,可以处理较为复杂的任务,如语音识别;云服务器的功能和边缘设备类似,其部署在云端,具有更强的计算能力,但是,相比于边缘设备,云服务器与终端设备之间的数据传输延时通常更高。
本发明的目的是利用边缘计算系统中的设备资源信息以及网络状态信息,对系统中存在的多个任务进行调度,选择合适的边缘设备/云服务器执行任务,最小化任务执行时间。
为实现以上目的,本发明所采取的技术方案是:一种基于QoE感知的边缘计算任务调度方法。该方法包括以下步骤。
步骤1:在路由器上收集系统中所有设备的资源以及网络状态信息。包括:CPU当前负载、CPU最大负载、网络带宽、往返时延(RTT)。
步骤2:预测任务在不同设备上执行所消耗的设备资源以及执行需要的时间。在本方法中,我们针对的任务是CPU密集型的任务,因此我们主要考虑任务消耗的CPU资源。为了预测某一特定任务在设备上执行所消耗的CPU资源,我们需要提前采集不同任务执行所消耗的CPU资源数据,根据采集的数据建立资源消耗预测模型,得到任务消耗资源的预测值。任务执行需要的时间由两部分组成,分别是数据传输时间以及任务计算时间。针对数据传输时间,我们通过数据量、带宽等信息计算得到;针对任务计算时间,我们需要提前采集不同任务执行需要的时间数据,根据采集的数据,建立计算时间预测模型,得到任务执行时间的预测值。
步骤3:生成带有约束条件的0-1线性规划模型。基于步骤1及步骤2中的数据,构造任务调度线性规划模型。该模型以任务执行时间为优化目标,包含QoE约束、CPU负载约束等约束条件。
步骤4:基于步骤3生成的0-1线性规划模型,利用线性规划求解器lpsolve,以任务执行时间最短为优化目标,求解满足步骤3生成的线性规划模型的最优解。
步骤5:基于步骤4中求解得到的任务调度策略,将任务分发到对应的设备上执行,并将执行后的结果返回给任务请求设备。若没有满足约束条件的任务调度策略,任务不进行分发,在本地执行。
本发明的有益效果是:通过在调度模型中引入设备现有资源负载,同时考虑实时的网络状态,实现了多个任务的协同调度,最小化任务的执行时间。
附图说明
图1是实施本发明方法的系统架构图。
图2是本发明方法的工作流程图。
具体实施方式
下面结合附图进一步描述本发明的具体实施方式。
本发明实现了一种基于QoE感知的边缘计算任务调度方法,具体包括以下步骤:
步骤1:在路由器上运行系统数据采集工具,周期收集网络中所有的设备资源状态信息以及网络状态信息。具体信息包括:每个设备的CPU最大负载(一般和CPU核数相同);每个设备的CPU当前负载每个设备与路由器之间的网络带宽Pi,每个设备与路由器之间的往返时延Ri。
步骤2:预测当前任务在不同设备上运行所需要的时间以及任务消耗的CPU资源(任务执行引起的CPU负载的增加值)。在我们的调度模型中,任务在设备上执行的时间与任务的数据量以及设备类型有关,我们为每一个任务建立了一个线性执行时间预测模型。执行时间预测模型如公式(1)所示,其中τij代表任务j在设备i上执行所需要的时间;Dj代表任务j所需要处理的数据量;aij和bij是模型的参数。对于某一特定任务,我们需要提前测量得到任务在不同设备上处理不同数据量所需要的时间数据。基于测量得到的数据,使用最小二乘法进行拟合,得到时间预测模型的参数。另外,任务消耗的CPU资源也和任务的数据量和设备类型有关,我们也为每一个任务建立一个线性的CPU资源消耗预测模型,如公式(2)所示。与执行时间预测模型类似,lij表示任务j在设备i上执行所需要的CPU资源;Dj表示任务j所需要处理的数据量;kij和tij是模型的参数。对于特定的任务,我们需要提前测量任务在不同设备上处理不同数据量引起的设备CPU负载的增加值。基于测试数据,使用最小二乘法进行拟合,得到CPU资源消耗预测模型的参数。
τij=aij*Dj+bij 公式(1)
lij=kij*Dj+tij 公式(2)
步骤3:任务调度模型搭建。基于步骤1和步骤2所得到的数据,构建任务调度模型。任务调度模型如下,其中,M代表所有的边缘设备以及云服务器的数量;N代表所有待调度的任务数量;dij为模型变量,dij=1表示任务j调度到设备i上执行,dij=0表示不把任务j调度到设备i上执行。
(3.1)QoE约束。在本模型中,QoE代表任务执行的精度,如语音识别的准确度、图像识别的准确度等。任务在不同的边缘设备上执行获得的QoE不同。QoE约束要求任务执行的QoE大于用户所要求的QoE。QoE约束如公式(3)所示。其中,Qij代表任务j在设备i上执行所得到的QoE;代表用户要求的QoE。
(3.2)CPU负载约束。CPU负载约束要求任务调度到某设备上执行时,设备上的任务负载不能大于设备所能承担的最大任务负载。CPU负载约束如公式(4)所示。其中,代表设备i当前的负载;lij代表任务j调度到设备i上执行所产生的负载;代表设备i所能承担的最大负载。
(3.3)有且仅有约束。在该任务调度模型中,一个任务必须分配到一个设备上执行。有且仅有约束如公式(5)所示。
(3.4)执行时间约束。为了更好地构造并且求解任务调度模型,我们引入y变量作为中间变量,y变量代表了任务执行时间的最大值。每个任务执行的时间包含了两部分,分别是任务运行时间以及数据传输时间。执行时间约束如公式(6)所示。其中,τij代表任务j在设备i上运行所需要的时间;D代表任务j运行所需要传输的数据量;Pi代表设备i与路由器之间的带宽;Ri代表设备i与路由器之间的往返时延。公式(6)中大于等于号的右边部分代表了每个任务的预测执行时间。
(3.5)模型优化目标。在(3.4)步中,我们引入了中间变量y,其值为所有任务执行时间的最大值,在本模型中,我们的优化目标为最小化y的值,从而最小化执行时间最长的任务的执行时间,如公式(7)所示。
min y 公式(7)
步骤4:任务调度模型求解。在步骤3中,我们构建了一个0-1规划模型,我们使用lpsolve线性规划求解器求解该模型,得到满足约束条件的最优任务调度策略。
步骤5:任务分发。在步骤4的基础上,根据任务调度模型求解的结果,将任务分发到对应的边缘设备/云服务器上执行。待任务执行完成,路由器收到设备返回的任务执行结果,再将其返回至终端设备。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.一种基于QoE感知的边缘计算任务调度方法,包括以下步骤:
步骤1:在路由器上运行系统数据采集工具,周期收集网络中所有的设备资源状态信息以及网络状态信息;具体信息包括:每个设备的CPU最大负载(一般和CPU核数相同);每个设备的CPU当前负载每个设备与路由器之间的网络带宽Pi,每个设备与路由器之间的往返时延Ri;
步骤2:预测当前任务在不同设备上运行所需要的时间以及任务消耗的CPU资源;在调度模型中,任务在设备上执行的时间与任务的数据量以及设备类型有关,为每一个任务建立了一个线性执行时间预测模型;执行时间预测模型如公式(1)所示,其中τij代表任务j在设备i上执行所需要的时间;Dj代表任务j所需要处理的数据量;aij和bij是模型的参数;对于某一特定任务,需要提前测量得到任务在不同设备上处理不同数据量所需要的时间数据;基于测量得到的数据,使用最小二乘法进行拟合,得到时间预测模型的参数;另外,任务消耗的CPU资源也和任务的数据量和设备类型有关,也为每一个任务建立一个线性的CPU资源消耗预测模型,如公式(2)所示;与执行时间预测模型类似,lij表示任务j在设备i上执行所需要的CPU资源;Dj表示任务j所需要处理的数据量;kij和tij是模型的参数;对于特定的任务,需要提前测量任务在不同设备上处理不同数据量引起的设备CPU负载的增加值;基于测试数据,使用最小二乘法进行拟合,得到CPU资源消耗预测模型的参数;
τij=aij*Dj+bij 公式(1)
lij=kij*Dj+tij 公式(2)
步骤3:任务调度模型搭建;基于步骤1和步骤2所得到的数据,构建任务调度模型;任务调度模型如下,其中,M代表所有的边缘设备以及云服务器的数量;N代表所有待调度的任务数量;dij为模型变量,dij=1表示任务j调度到设备i上执行,dij=0表示不把任务j调度到设备i上执行;
(3.1)QoE约束;在本模型中,QoE代表任务执行的精度;任务在不同的边缘设备上执行获得的QoE不同;QoE约束要求任务执行的QoE大于用户所要求的QoE;QoE约束如公式(3)所示;其中,Qij代表任务j在设备i上执行所得到的QoE;代表用户要求的QoE;
(3.2)CPU负载约束;CPU负载约束要求任务调度到某设备上执行时,设备上的任务负载不能大于设备所能承担的最大的任务负载;CPU负载约束如公式(4)所示;其中,代表设备i当前的负载;lij代表任务j调度到设备i上执行所产生的负载;代表设备i所能承担的最大负载;
(3.3)有且仅有约束;在该任务调度模型中,一个任务必须分配到一个设备上执行;有且仅有约束如公式(5)所示;
(3.4)执行时间约束;为了更好地构造并且求解任务调度模型,引入y变量作为中间变量,y变量代表了任务执行时间的最大值;每个任务执行的时间包含了两部分,分别是任务运行时间以及数据传输时间;执行时间约束如公式(6)所示;其中,τij代表任务j在设备i上运行所需要的时间;Dj代表任务j运行所需要传输的数据量;Pi代表设备i与路由器之间的带宽;Ri代表设备i与路由器之间的往返时延;公式(6)中大于等于号的右边部分代表了每个任务的预测执行时间;
(3.5)模型优化目标;在(3.4)步中,引入了中间变量y,其值为所有任务执行时间的最大值,本模型的优化目标为最小化y的值,从而最小化执行时间最长的任务的执行时间,如公式(7)所示;
min y 公式(7)
步骤4:任务调度模型求解;在步骤3中,构建了一个0-1规划模型,使用lpsolve线性规划求解器求解该模型,得到满足约束条件的最优任务调度策略;
步骤5:任务分发;在步骤4的基础上,根据任务调度模型求解的结果,将任务分发到对应的边缘设备/云服务器上执行;待任务执行完成,路由器收到设备返回的任务执行结果,再将其返回至终端设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910307861.7A CN110198339B (zh) | 2019-04-17 | 2019-04-17 | 一种基于QoE感知的边缘计算任务调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910307861.7A CN110198339B (zh) | 2019-04-17 | 2019-04-17 | 一种基于QoE感知的边缘计算任务调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110198339A CN110198339A (zh) | 2019-09-03 |
CN110198339B true CN110198339B (zh) | 2020-08-21 |
Family
ID=67751970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910307861.7A Active CN110198339B (zh) | 2019-04-17 | 2019-04-17 | 一种基于QoE感知的边缘计算任务调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110198339B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110691127B (zh) * | 2019-09-25 | 2022-04-12 | 北京奇艺世纪科技有限公司 | 数据获取控制系统、数据获取控制方法及相关装置 |
CN110716806B (zh) * | 2019-09-27 | 2023-05-12 | 深圳市网心科技有限公司 | 边缘节点计算能力确定方法、电子设备、系统及介质 |
CN111049903B (zh) * | 2019-12-12 | 2021-04-20 | 大连理工大学 | 一种基于应用感知预测的边缘网络负载分配算法 |
CN114077491B (zh) * | 2020-08-18 | 2024-05-24 | 中国科学院沈阳自动化研究所 | 一种工业智能制造边缘计算任务调度方法 |
CN112232594A (zh) * | 2020-11-06 | 2021-01-15 | 中国人民解放军国防科技大学 | 一种多星应急观测任务规划方法、装置和计算机设备 |
CN112882383B (zh) * | 2021-01-11 | 2022-03-22 | 合肥工业大学 | 一种面向变电站监测与边缘云协同的预测控制调度方法 |
CN115002862A (zh) * | 2021-03-02 | 2022-09-02 | 中国移动通信有限公司研究院 | 算力处理的网络系统、业务处理方法及算力网元节点 |
CN117560701B (zh) * | 2024-01-12 | 2024-03-26 | 易联科技(深圳)有限公司 | 一种无线路由器的远程管理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1482704B1 (en) * | 2003-05-27 | 2008-08-27 | Microsoft Corporation | Distributed authentication in a protocol-based sphere of trust in which a given external connection outside the sphere of trust may carry communications from multiple sources |
CN109582448A (zh) * | 2018-10-17 | 2019-04-05 | 中国电子科技集团公司第二十八研究所 | 一种面向关键度和时效性的边缘计算任务调度方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107995660B (zh) * | 2017-12-18 | 2021-08-17 | 重庆邮电大学 | 支持d2d-边缘服务器卸载的联合任务调度及资源分配方法 |
-
2019
- 2019-04-17 CN CN201910307861.7A patent/CN110198339B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1482704B1 (en) * | 2003-05-27 | 2008-08-27 | Microsoft Corporation | Distributed authentication in a protocol-based sphere of trust in which a given external connection outside the sphere of trust may carry communications from multiple sources |
CN109582448A (zh) * | 2018-10-17 | 2019-04-05 | 中国电子科技集团公司第二十八研究所 | 一种面向关键度和时效性的边缘计算任务调度方法 |
Non-Patent Citations (2)
Title |
---|
"Cost Efficient Scheduling for Delay-Sensitive Tasks in Edge Computing System";Yongchao Zhang,Xin Chen,Ying Chen,Zhuo Li,Jiwei Huang;《2018 IEEE International Conference on Services Computing (SCC)》;20180906;73-80 * |
"ParaDrop: Enabling Lightweight Multi-tenancy at the Network’s Extreme Edge";Peng Liu,Dale Willis,Suman Banerjee,;《2016 IEEE/ACM Symposium on Edge Computing (SEC)》;20161208;1-13 * |
Also Published As
Publication number | Publication date |
---|---|
CN110198339A (zh) | 2019-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110198339B (zh) | 一种基于QoE感知的边缘计算任务调度方法 | |
Kliazovich et al. | CA-DAG: Modeling communication-aware applications for scheduling in cloud computing | |
CN110990138B (zh) | 资源调度方法、装置、服务器及存储介质 | |
CN109766189B (zh) | 集群调度方法和装置 | |
US10314091B2 (en) | Observation assisted bandwidth management | |
CN116455768B (zh) | 面向全局时延优化的云边端协同cnn推理方法及系统 | |
CN115421930B (zh) | 任务处理方法、系统、装置、设备及计算机可读存储介质 | |
Huang et al. | Enabling dnn acceleration with data and model parallelization over ubiquitous end devices | |
CN115033340A (zh) | 一种宿主机的选择方法及相关装置 | |
CN111211984B (zh) | 优化cdn网络的方法、装置及电子设备 | |
Cao et al. | A deep reinforcement learning approach to multi-component job scheduling in edge computing | |
JP6660283B2 (ja) | トラヒック需要予測装置、トラヒック需要予測方法、及びプログラム | |
CN116643844B (zh) | 面向电力超算云资源自动扩展的智能化管理系统及方法 | |
CN116302578B (zh) | 一种QoS约束的流应用延迟确保方法及系统 | |
Huang | The value-of-information in matching with queues | |
Lu et al. | A QoE-aware resource distribution framework incentivizing context sharing and moderate competition | |
Zhu et al. | Load balancing algorithm for web server based on weighted minimal connections | |
Khalilzad et al. | Adaptive multi-resource end-to-end reservations for component-based distributed real-time systems | |
CN113656150A (zh) | 深度学习算力虚拟化系统 | |
CN112817732A (zh) | 一种适应云边协同多数据中心场景下的流数据处理方法及系统 | |
Bao et al. | ACO-based solution for computation offloading in mobile cloud computing | |
Liu et al. | Energy-efficient URLLC service provisioning in softwarization-based networks | |
CN117724853B (zh) | 基于人工智能的数据处理方法及装置 | |
US11979295B2 (en) | Reinforcement learning agent training method, modal bandwidth resource scheduling method and apparatus | |
CN117076131B (zh) | 一种任务分配方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |