CN112949919B - 一种以节能为目标的计算卸载模型优化方法 - Google Patents

一种以节能为目标的计算卸载模型优化方法 Download PDF

Info

Publication number
CN112949919B
CN112949919B CN202110211552.7A CN202110211552A CN112949919B CN 112949919 B CN112949919 B CN 112949919B CN 202110211552 A CN202110211552 A CN 202110211552A CN 112949919 B CN112949919 B CN 112949919B
Authority
CN
China
Prior art keywords
edge
energy
execution
energy consumption
saving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110211552.7A
Other languages
English (en)
Other versions
CN112949919A (zh
Inventor
刘保卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Uniersity Of Science And Technology Baotou Teachers' College
Original Assignee
Inner Mongolia Uniersity Of Science And Technology Baotou Teachers' College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia Uniersity Of Science And Technology Baotou Teachers' College filed Critical Inner Mongolia Uniersity Of Science And Technology Baotou Teachers' College
Priority to CN202110211552.7A priority Critical patent/CN112949919B/zh
Publication of CN112949919A publication Critical patent/CN112949919A/zh
Application granted granted Critical
Publication of CN112949919B publication Critical patent/CN112949919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Power Sources (AREA)

Abstract

本发明涉及一种以节能为目标的计算卸载模型优化方法,包括以下步骤:(1)采用边缘设备构建一个边缘计算环境;(2)对所述边缘设备的待机能耗、DNN执行功耗、数据传输功耗进行测量;(3)使用G=(V,E)表示一个执行图,将所述执行图建模为一个有向无环图,每个层转化为有向无环图的3个节点;(4)给定当前带宽B,预测边缘设备发送D字节的数据的能耗,预测边缘设备接受D字节的数据的能耗;(5)使用V={v1,v2,·,vm}表示所有节点;(6)计算各节点之间的边的权重,有向无环图的最短路径即为当前宽带条件下最节能的执行方式。本发明可自适应当前可用带宽,选择最节能方式,大大节省能耗。

Description

一种以节能为目标的计算卸载模型优化方法
技术领域
本发明涉及任务卸载领域,具体说是一种以节能为目标的计算卸载模型优化方法。
背景技术
长久以来,变电站等基础设施的人工巡检工作存在着巡检到位率低、设备巡视质量不高及巡视数据不准确等方面的问题。在建站时,就将传感器和设备一起来部署,这样后期就可以使用传感器来检测每个设备的各类运行状态,通过定期读取和分析传感器的数据,来实现定期自动巡检。但是,对于建设年代较早的许多电站,建站时未部署相应的传感设备。这就需要进行技术改造,将传感器嵌入到生产系统中,其施工难度很大。一种代替方案是巡检机器人携带红外热像仪、可见光摄像机、拾音器等较为先进的现场检测装置,执行预先设定时间的任务或根据操作人员在基站的操作指令,进行全天候的站点设备巡检,完成一次设备的可见光图像检测以及红外检测等,识别记录设备表计的信息,并对其进行相应的数据分析,及时对异常数据报警。
在这个过程中,对可见光图像检测以及红外检测等,识别记录设备表计的信息需要依托于计算机视觉(CV)方面的成果,提高检测的准确率。进年来,深度神经网络(DNN)在计算机视觉(CV)等方面,其识别精度和处理速度都取得了长足的进步。另一方面,巡检机器人等移动设备的计算能力也在不断增强,多核CPU和GPU集成在移动设备的Soc中。因此,越来越多的DNN应用开始尝试直接部署在这些移动设备上。但是由于其计算能力毕竟有限,在移动设备上运行DNN计算显得力不从心;而且DNN计算也会消耗大量电能,对一些仅依赖电池供电的巡检机器人等移动设备而言,会大大缩短其工作时间,随之其可用性也会降低。
在资源受限的设备上运行DNN,比较明智的做法是将DNN计算卸载到云中心。但受地理位置的限制,部分站点的移动网络覆盖不好,站点的某些地方存在盲区。在这种情况下,需要使用边缘计算技术,构建边缘计算网络,并部署边缘计算服务器,将DNN计算卸载到边缘服务器。在边缘计算中,一种方法是全部卸载到边缘服务器,即移动设备向边缘服务器发出请求(如请求识别一张图片中的物体),边缘服务器执行DNN计算,将计算后的结果传回移动设备。另一种方法是部分卸载,即一个DNN任务进行切分,一部分由移动设备执行,另一部分由边缘服务器执行,以实现性能的提升或节能。
在边缘计算过程中,将面临以下挑战。如何平衡通信能耗和计算能耗,在不同的无线接入条件下,选择一个最节能的DNN模型切分方案?如果移动设备执行部分DNN任务,需要将DNN任务执行的中间结果上传给服务器,并接收服务器处理后的数据。因此,移动设备在执行DNN任务的能耗包含计算能耗和通信能耗。不同DNN层的输入数据量、输出量不同,不同可用带宽下的通信能耗差异很大。
发明内容
针对上述问题,本发明提供一种以节能为目标、可感知接入带宽的计算卸载模型优化方法。
本发明解决上述技术问题所采用的技术方案为:一种以节能为目标的计算卸载模型优化方法,包括以下步骤:
(1)采用边缘设备构建一个边缘计算环境;
(2)对所述边缘设备的待机能耗、DNN执行功耗、数据传输功耗进行测量;
(3)使用G=(V,E)表示一个执行图,将所述执行图建模为一个有向无环图,每个层转化为有向无环图的3个节点,第k层转化为vk,1,vk,2和vk,33个节点;
(4)给定当前带宽B,预测边缘设备发送D字节的数据的能耗,记为fsend(D,B);预测边缘设备接受D字节的数据的能耗,记为freceive(D,B);
(5)使用V={v1,v2,·,vm}表示所有节点(v1和vm分别表示Input和Output层对应的节点),E表示边的集合,其中的一条边(vi,vj)∈E;
(6)根据
计算各节点之间的边的权重,有向无环图的最短路径即为当前宽带条件下最节能的执行方式;其中,{Li|i=1…N}表示DNN模型的层;{Di|i=1…N}表示DNN模型中每层的输出字节数,Ewait表示边缘设备的待机功耗,B表示当前的可用网络带宽,fdevice(Li)表示预测第i层运行于边缘设备上的能耗的函数,gedge(Li)表示预测第i层运行于边缘服务器上的执行时间的函数。
作为优选,Client按如下方法计算各个边的权重:Client通过DNN执行profile文件计算出边缘设备上各层的执行能耗,作为client端节点之间的边的权重;使用预测函数预测各层在边缘服务器上的执行时间,使用公式“服务器端执行时间乘以client端的待机能耗”,得出server端节点之间的边的权重;另外,client与Server端的数据传输能耗,可以根据当前可用带宽通过回归模型来预测,作为client端和server端的节点之间的边的权重。
作为优选,使用求解最短路径算法的Dijkstra算法,计算从起始顶点v1(Input层对应的节点)和vm(Output层对应的节点)所经过的路径中,各边上权值之和最小的一条路径,该路径为最短路径,即为当前带宽条件下的最节能的执行方式。
作为优选,使用Moon库仑计对NVidia Jetson Nano的DNN执行功耗、数据传输功耗进行测量。
作为优选,使用回归模型进行拟合,得到相关的能耗模型。
作为优选,使用Matlab对DNN切分算法进行仿真。
与现有技术相比,本发明具有以下有益效果:本发明采用边缘计算的解决方案,解决了现有技术的巡检机器人进行检测所需的深度神经网络计算时能耗较大的技术问题。在边缘计算中,我们的方法可自适应当前可用带宽,选择最节能的执行方式(本地执行,全部或部分卸载到边缘服务器),并进行DNN推理任务的执行。经实验验证,我们的方法,与本地执行或全部卸载方案相比,在不用可用带宽条件下,均以可以选择已最节能的方式执行,这就大大节省了巡检机器人等移动设备的能耗,延长了工作时间。
附图说明
图1为本发明基于能耗的执行图;
图2为在不同带宽下不同执行方式下的移动设备的能耗情况;
图3表示Alex模型在不同带宽下的切分点选择;
图4显示了在优化能量的过程中,DNN的推理时间的变化情况。
具体实施方式
下面以一个经典的3层DNN模型为例,说明是其基于能耗的执行图的构造过程,在此本发明的示意性实施例以及说明用来解释本发明,但并不作为对本发明的限定。
执行图表示边缘设备和边缘服务器针对DNN计算过程中层粒度的协同执行路径。如图1箭头左边部分所示,一个DNN由3个神经网络层组成,箭头右边部分就是该DNN对应的执行图。每一层转化为3个节点(层A:1,2,3,层B:4,5,6,层C:7,8,9)。位于左侧的节点(如0,1,4,7,10)属于client端节点,位于右侧的节点(2,3,5,6,8,9)属于server端节点。client端节点之间的边(如1→4)代表层A在移动设备执行,而server端节点之间的边(如2→3代表层A在边缘服务器上执行。client端和server端的节点之间的边(如1→2或3→4)代表NN层的输入或输出数据在client端和server端之间进行传输。给每个边添加权重,每个权重表示相应的能耗(计算能耗或通信能耗)。一些边由于没有产生计算能耗或通讯能耗,因此它的权重为0(如0→1或3→5)。Client按如下方法计算各个边的权重:Client通过DNN执行profile文件计算出边缘设备上各层的执行能耗,作为client端节点之间的边的权重;使用预测函数预测各层在边缘服务器上的执行时间,使用公式“服务器端执行时间乘以client端的待机能耗”,得出server端节点之间的边的权重。另外,client与Server端的数据传输能耗,可以根据当前可用带宽通过回归模型来预测,作为client端和server端的节点之间的边的权重。
使用求解最短路径算法的Dijkstra算法,计算从起始顶点v1(Input层对应的节点)和vm(Output层对应的节点)从所经过的路径中,各边上权值之和最小的一条路径叫做最短路径。该路径代表了当前带宽条件下的最节能的执行方式。
采用实际测量+Matlab仿真的方式对上述算法进行评估。在实际测量中,边缘设备为一台NVidia Jetson Nano,通过2.4GHz Wifi连接TP-Link路由器,边缘服务器配置RTX2060GPU,联入TP-Link路由器,构成一个边缘计算环境。使用Moon库仑计对NVidia JetsonNano的DNN执行功耗、数据传输功耗进行测量,使用回归模型进行拟合,得到相关的能耗模型。使用Matlab对DNN切分算法进行仿真。可用带宽从0.1Mbps,每次增加0.1Mbps,增加到100Mbps,记录切分点、能耗和执行时间。
图2表示在不同带宽下不同执行方式下的移动设备的能耗情况。与移动设备本地执行(local execution)和全部卸载到边缘服务器(total offloading)这两种执行方式相比,我们提供的方案(our scheme)可自动适应各种带宽条件,在不同带宽条件下均最节能。当网络带宽<0.7Mbps,在本地执行最节能;当网络带宽大于0.7Mbps,移动设备将部分或全部DNN层的计算任务卸载到边缘服务器,可以节省能耗。所以,我们的算法可以平衡计算能耗和通信能耗,在不同带宽条件下都可以找到的最优切分。
图3表示Alex模型在不同带宽下的切分点选择(如实线所示)。我们发现切分算法将一个DNN模型被切分点p切分为2个部分。之前的部分被移动设备执行,后一部分被边缘服务器执行。如果p等于1表示所有DNN层都将卸载到边缘服务器执行,然后将执行结果返回给移动设备;如果p等于N+1(N表示为DNN模型的层数),表示所有DNN层都将移动设备本地执行。如图4-3所示,当网络带宽<0.7Mbps,在本地执行最节能;当网络带宽在0.7Mbps和3.4Mbps之间,最节能的执行方式是将第16到22层卸载到边缘服务器执行更节能;当网络带宽在3.4Mbps和17.8Mbps之间,最节能的执行方式是将第5到22层卸载到边缘服务器执行更节能;当网络带宽大于17.8Mbps,将全部DNN层卸载到边缘服务器最节能。随着可用网络带宽的增加,越来越多的DNN层将卸载到边缘服务器执行,以获得最节能的切分执行方式。
图4显示了在优化能量的过程中,DNN的推理时间的变化情况。我们的算法在优化能耗的同时,对DNN的推理时间也进行了优化。但是,在某些网络带宽变化的临界区域,其推理时间略有增加。所以,以优化能耗为目标的算法和优化推理时间为目录的算法无法相互替代。
以上对本发明实施例所提供的技术方案进行了详细介绍,本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述,以上实施例的说明只适用于帮助理解本发明实施例的原理;同时,对于本领域的一般技术人员,依据本发明实施例,在具体实施方式以及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种以节能为目标的计算卸载模型优化方法,其特征在于:包括以下步骤:
(1)采用边缘设备构建一个边缘计算环境;
(2)对所述边缘设备的待机能耗、DNN执行功耗、数据传输功耗进行测量;
(3)使用G=(V,E)表示一个执行图,将所述执行图建模为一个有向无环图,每个层转化为有向无环图的3个节点,第k层转化为vk,1,vk,2和vk,3 3个节点;
(4)给定当前带宽B,预测边缘设备发送D字节的数据的能耗,记为fsend(D,B);预测边缘设备接受D字节的数据的能耗,记为freceive(D,B);
(5)使用V={v1,v2,·,vm}表示所有节点,其中v1和vm分别表示Input和Output层对应的节点,E表示边的集合,其中的一条边(vi,vj)∈E;
(6)根据
计算各节点之间的边的权重,有向无环图的最短路径即为当前宽带条件下最节能的执行方式;其中,{Li|i=1…N}表示DNN模型的层;{Di|i=1…N}表示DNN模型中每层的输出字节数,Ewait表示边缘设备的待机功耗,B表示当前的可用网络带宽,fdevice(Li)表示预测第i层运行于边缘设备上的能耗的函数,gedge(Li)表示预测第i层运行于边缘服务器上的执行时间的函数。
2.根据权利要求1所述以节能为目标的计算卸载模型优化方法,其特征在于:Client按如下方法计算各个边的权重:Client通过DNN执行profile文件计算出边缘设备上各层的执行能耗,作为client端节点之间的边的权重;使用预测函数预测各层在边缘服务器上的执行时间,根据“服务器端执行时间乘以client端的待机能耗”,得出server端节点之间的边的权重;另外,client与Server端的数据传输能耗,根据当前可用带宽通过回归模型来预测,作为client端和server端的节点之间的边的权重。
3.根据权利要求2所述以节能为目标的计算卸载模型优化方法,其特征在于:使用求解最短路径算法的Dijkstra算法,计算从起始顶点v1和vm所经过的路径中,各边上权值之和最小的一条路径,该路径为最短路径,即为当前带宽条件下的最节能的执行方式。
4.根据权利要求3所述以节能为目标的计算卸载模型优化方法,其特征在于:使用Moon库仑计对NVidia Jetson Nano的DNN执行功耗、数据传输功耗进行测量。
5.根据权利要求4所述以节能为目标的计算卸载模型优化方法,其特征在于:使用回归模型进行拟合,得到相关的能耗模型。
6.根据权利要求5所述以节能为目标的计算卸载模型优化方法,其特征在于:使用Matlab对DNN切分算法进行仿真。
CN202110211552.7A 2021-02-25 2021-02-25 一种以节能为目标的计算卸载模型优化方法 Active CN112949919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110211552.7A CN112949919B (zh) 2021-02-25 2021-02-25 一种以节能为目标的计算卸载模型优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110211552.7A CN112949919B (zh) 2021-02-25 2021-02-25 一种以节能为目标的计算卸载模型优化方法

Publications (2)

Publication Number Publication Date
CN112949919A CN112949919A (zh) 2021-06-11
CN112949919B true CN112949919B (zh) 2024-03-19

Family

ID=76246178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110211552.7A Active CN112949919B (zh) 2021-02-25 2021-02-25 一种以节能为目标的计算卸载模型优化方法

Country Status (1)

Country Link
CN (1) CN112949919B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110553629A (zh) * 2019-09-20 2019-12-10 中南大学 一种基于边缘计算的无人机目标追踪功耗优化方法及系统
CN112214261A (zh) * 2020-10-30 2021-01-12 内蒙古工业大学 一种面向边缘智能的三层结构dnn计算卸载方法
CN112235387A (zh) * 2020-10-10 2021-01-15 华北电力大学(保定) 一种基于能量消耗最小化的多节点协作计算卸载方法
CN112380008A (zh) * 2020-11-12 2021-02-19 天津理工大学 一种面向移动边缘计算应用的多用户细粒度任务卸载调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110553629A (zh) * 2019-09-20 2019-12-10 中南大学 一种基于边缘计算的无人机目标追踪功耗优化方法及系统
CN112235387A (zh) * 2020-10-10 2021-01-15 华北电力大学(保定) 一种基于能量消耗最小化的多节点协作计算卸载方法
CN112214261A (zh) * 2020-10-30 2021-01-12 内蒙古工业大学 一种面向边缘智能的三层结构dnn计算卸载方法
CN112380008A (zh) * 2020-11-12 2021-02-19 天津理工大学 一种面向移动边缘计算应用的多用户细粒度任务卸载调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
移动边缘计算中能耗优化的多重资源计算卸载策略;徐佳;李学俊;丁瑞苗;刘晓;;计算机集成制造系统;20190415(第04期);全文 *
移动边缘计算环境中基于能耗优化的深度神经网络计算任务卸载策略;高寒;李学俊;周博文;刘晓;徐佳;;计算机集成制造系统;20200615(第06期);全文 *

Also Published As

Publication number Publication date
CN112949919A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN101808384B (zh) 无线传感器网络、路由选择方法及节点设备
Xu et al. Uav-assisted task offloading for iot in smart buildings and environment via deep reinforcement learning
CN110705407B (zh) 基于多任务迁移的人脸美丽预测方法及装置
CN103874118A (zh) WiFi室内定位中基于贝叶斯回归的Radio Map校正方法
Sun et al. Lightweight digital twin and federated learning with distributed incentive in air-ground 6G networks
CN112560981B (zh) 生成对抗模型的训练方法、装置、设备、程序和存储介质
CN112561199B (zh) 天气参数预测模型训练方法、天气参数预测方法及装置
Qin et al. A hierarchical information acquisition system for AUV assisted internet of underwater things
Crutcher et al. Hyperprofile-based computation offloading for mobile edge networks
CN110798848A (zh) 无线传感器数据融合方法及装置、可读存储介质和终端
Hribar et al. Utilising correlated information to improve the sustainability of internet of things devices
CN108337685A (zh) 基于分簇dgm的无线传感器网络数据融合方法
CN109375999A (zh) 一种基于贝叶斯网络的mec随机任务迁移方法
Mekala et al. Computational intelligent sensor-rank consolidation approach for industrial internet of things (iiot)
Hribar et al. Energy-aware deep reinforcement learning scheduling for sensors correlated in time and space
Guo et al. Energy-efficient incremental offloading of neural network computations in mobile edge computing
CN112949919B (zh) 一种以节能为目标的计算卸载模型优化方法
Samie et al. Fast operation mode selection for highly efficient iot edge devices
Qin et al. MCOTM: Mobility-aware computation offloading and task migration for edge computing in industrial IoT
Tang et al. Energy-efficient sensory data collection based on spatiotemporal correlation in IoT networks
CN111083724A (zh) 一种雾计算网络下基于ocwg-topsis的用户关联方法
Chowdhuri et al. Node position estimation based on optimal clustering and detection of coverage hole in wireless sensor networks using hybrid deep reinforcement learning
Alduais et al. Enhanced payload data reduction approach for Cluster Head (CH) nodes
CN113960925A (zh) 基于人工智能的楼宇能耗控制方法及装置
Xiong et al. An energy aware algorithm for edge task offloading

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant