CN113987692B - 用于无人机和边缘计算服务器的深度神经网络分区方法 - Google Patents

用于无人机和边缘计算服务器的深度神经网络分区方法 Download PDF

Info

Publication number
CN113987692B
CN113987692B CN202111627783.2A CN202111627783A CN113987692B CN 113987692 B CN113987692 B CN 113987692B CN 202111627783 A CN202111627783 A CN 202111627783A CN 113987692 B CN113987692 B CN 113987692B
Authority
CN
China
Prior art keywords
particle
aerial vehicle
unmanned aerial
dnn
energy consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111627783.2A
Other languages
English (en)
Other versions
CN113987692A (zh
Inventor
邓芳明
曾紫琪
解忠鑫
韦宝泉
曾晗
毛威
单运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202111627783.2A priority Critical patent/CN113987692B/zh
Publication of CN113987692A publication Critical patent/CN113987692A/zh
Application granted granted Critical
Publication of CN113987692B publication Critical patent/CN113987692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用于无人机和边缘计算服务器的深度神经网络分区方法，该方法首先建立系统成本模型，然后将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，且基于混沌变异二进制粒子群算法对二进制粒子寻优问题进行求解，得出无人机与边缘计算服务器之间最优分区点，能够最大限度的利用无人机的计算资源，实现系统能耗和时延总成本的最小化，有效的提高了无人机执行任务的效率，本发明能够根据DNN的分层结构和输出数据大小，以及每层网络计算所需能耗，在移动设备和边缘计算服务器之间合理划分DNN。

Description

用于无人机和边缘计算服务器的深度神经网络分区方法
技术领域
本发明涉及数据处理技术领域，特别是涉及一种用于无人机和边缘计算服务器的深度神经网络分区方法。
背景技术
近年来，深度神经网络（Deep Neural Networks, DNN）在计算机视觉、自然语言识别以及医疗诊断等领域取得巨大成功。而随着科学技术发展，智能移动设备的性能得到了极大地提升，但移动设备处理DNN推理任务的能力与日益增长的处理需求之间仍然存在差距。由于高精度的DNN模型需要消耗大量的算力和存储空间，因此通常将DNN网络部署在云端，但将移动设备采集的数据传输至云端进行离线处理，仍会造成端到端的高时延，无法满足对完成任务实时性的需求，此现象在无人机应用领域更为突出。
边缘计算技术的兴起，有效解决了集中云式存在的问题，将云能力扩展到靠近终端设备的网络边缘（例如基站，基站旁布置有边缘计算服务器），从而减少传输延迟并减轻骨干网络流量负担。然而，在边缘端完成DNN推理仍面临着挑战。由于边缘计算服务器的计算能力有限，充分释放基于边缘的DNN推理的能力需要边缘计算服务器和移动设备之间的协同工作，而如何在移动设备和边缘计算服务器之间合理划分DNN是本领域技术人员需要解决的技术问题。
发明内容
为此，本发明的一个目的在于提出一种用于无人机和边缘计算服务器的深度神经网络分区方法，以根据DNN的分层结构和输出数据大小，以及每层网络计算所需能耗，在移动设备和边缘计算服务器之间合理划分DNN。
本发明提供一种用于无人机和边缘计算服务器的深度神经网络分区方法，包括：
获取深度神经网络中每层DNN网络输出数据大小以及每层DNN网络计算能耗，并根据无人机与边缘计算服务器的计算能力、无人机到边缘计算服务器的距离，分析无人机与边缘计算服务器运行每层DNN网络的能耗以及时延，建立系统成本模型；
将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，基于混沌变异二进制粒子群算法进行粒子寻优问题的求解，并结合所述系统成本模型，得出无人机与边缘计算服务器之间最优分区点，所述最优分区点对应的系统成本最低。
上述用于无人机和边缘计算服务器的深度神经网络分区方法，其中，所述系统成本模型包括系统能耗模型；
所述系统能耗模型包括数据传输能耗模型、无人机计算能耗模型、无人机飞行能耗模型；
所述系统能耗模型的表达式为：
E c (j,t)=E trans (t)+E(j)+E fly
其中，E c (j,t)表示系统能耗，E trans (t)表示将无人机运行第j层DNN网络后输出的数据传输至边缘计算服务器的能耗，E(j)表示在无人机上执行到第j层DNN网络的计算能耗，E fly 表示无人机的飞行能耗，t表示时隙；
所述数据传输能耗模型的表达式为：
Figure 596221DEST_PATH_IMAGE001
其中，P(t)表示表示无人机的传输功率，τ表示时隙持续时间，B表示带宽，R(t)表示在时隙t内数据的传输速率，σ2表示高斯白噪声功率，h[t]表示时隙t中的信道增益；
所述无人机计算能耗模型的表达式为：
Figure 112653DEST_PATH_IMAGE002
Figure 156833DEST_PATH_IMAGE003
其中，M∈{0,1,...,N}，N表示DNN网络的总层数，P layer (j)表示第j层DNN网络在无人机上的运行能耗，D j 表示无人机运行第j层DNN网络时需要处理的数据量，η表示无人机芯片结构的常数系数，K UAV 表示无人机处理一个比特所需的CPU周期，F UAV 表示无人机的计算能力值；
所述无人机飞行能耗模型的表达式为：
Figure 368502DEST_PATH_IMAGE004
其中，T表示时隙t的最大值，c 1表示无人机的机翼面积常数，c 2表示无人机的载荷系数常数，v[t]表示时隙t对应的无人机的速度，a(t)表示时隙t对应的加速度，g表示重力加速度，∆k表示无人机动能的变化。
上述用于无人机和边缘计算服务器的深度神经网络分区方法，其中，所述系统成本模型还包括系统延迟模型；
所述系统延迟模型的表达式为：
Figure 218647DEST_PATH_IMAGE005
Figure 714219DEST_PATH_IMAGE006
Figure 929300DEST_PATH_IMAGE007
其中，t delay (j,t)表示在第j层DNN网络时，经过t个时隙的系统总时延，t UAV (j)表示在时隙t中无人机上的第j层DNN网络的计算延迟，t ser (j)表示在时隙t中无人机和边缘计算服务器上的第j层DNN网络的计算延迟，i表示第i层DNN网络，D size (j)表示经过第j层DNN网络处理之后的数据大小，K ser 表示边缘计算服务器处理一个比特所需的CPU周期，F ser 表示边缘计算服务器的计算能力值。
上述用于无人机和边缘计算服务器的深度神经网络分区方法，其中，所述系统成本模型的表达式为：
Figure 18478DEST_PATH_IMAGE008
其中，S c (j,t)表示在第j层DNN网络分区时系统的成本，β表示权重系数，0≤β≤1。
上述用于无人机和边缘计算服务器的深度神经网络分区方法，其中，将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，基于混沌变异二进制粒子群算法进行粒子寻优问题的求解，并结合所述系统成本模型，得出无人机与边缘计算服务器之间最优分区点的步骤具体包括：
分析DNN网络最优分区点具体为求解
Figure 282101DEST_PATH_IMAGE009
，在分析DNN网络最优分区点时，用一个一位二进制数表示分区决策，二进制数为0时，表示DNN网络在无人机上运行；二进制数为1时，表示DNN网络在边缘计算服务器上执行，DNN网络最优分区点的选取问题就是解决
Figure 773125DEST_PATH_IMAGE009
的0-1整数规划问题；
将解决
Figure 159107DEST_PATH_IMAGE010
的0-1整数规划问题表示为二进制粒子群粒子寻优问题，具体是不同的粒子去选择自己最佳的位置，以及在不同条件下快速搜寻符合场景的位置集合，用Mi表示计算DNN网络前i层的计算任务，用粒子
Figure 96101DEST_PATH_IMAGE011
表示前i层DNN网络，用符号
Figure 22469DEST_PATH_IMAGE012
表示第k次迭代后粒子
Figure 508945DEST_PATH_IMAGE011
在第
Figure 862566DEST_PATH_IMAGE013
维的取值，即粒子位置，粒子位置表示DNN网络分区决策，
Figure 864020DEST_PATH_IMAGE012
∈{0,1}；用符号
Figure 984292DEST_PATH_IMAGE014
表示第k次迭代后第
Figure 184329DEST_PATH_IMAGE015
个粒子的第
Figure 912113DEST_PATH_IMAGE013
维速度，粒子速度表示粒子位置发生变化的概率；
首先对每个粒子给出一个初始化的随机位置和速度，然后进行迭代计算，粒子的速度和位置更新公式表示为：
Figure 338547DEST_PATH_IMAGE016
其中，
Figure 872296DEST_PATH_IMAGE017
表示第k+1次迭代后第
Figure 130102DEST_PATH_IMAGE011
个粒子的第
Figure 451624DEST_PATH_IMAGE013
维速度，w、e 1和e 2分别表示三个系统参数，rand()是一个随机函数，取值范围为[0,1]，
Figure 489987DEST_PATH_IMAGE018
表示粒子
Figure 437215DEST_PATH_IMAGE011
的第
Figure 549527DEST_PATH_IMAGE013
维位置在第k次迭代后的历史最优解，
Figure 947011DEST_PATH_IMAGE019
表示整个粒子群中所有粒子在第
Figure 66145DEST_PATH_IMAGE013
维经过第k次迭代的历史最优解，
Figure 941697DEST_PATH_IMAGE020
和
Figure 580620DEST_PATH_IMAGE019
的取值范围均为[0,1]；
使用Sigmoid函数将粒子速度映射为更新的位置，表达式如下：
Figure 86688DEST_PATH_IMAGE021
其中，
Figure 834064DEST_PATH_IMAGE022
表示
Figure 873827DEST_PATH_IMAGE017
的Sigmoid函数；
则粒子位置的更新公式采用下式表示：
Figure 960731DEST_PATH_IMAGE023
其中，
Figure 434438DEST_PATH_IMAGE024
∈[0,1]，是一个均匀分布的随机数，
Figure 544476DEST_PATH_IMAGE025
表示第k+1次迭代后粒子
Figure 761831DEST_PATH_IMAGE011
在第
Figure 703242DEST_PATH_IMAGE013
维的取值；当
Figure 472484DEST_PATH_IMAGE025
=0时，表示计算任务Mi在无人机上执行，第i层DNN网络之后的计算任务在边缘计算服务器上执行；当
Figure 194452DEST_PATH_IMAGE025
=1时，表示所有DNN网络的计算任务都在边缘计算服务器上执行。
上述用于无人机和边缘计算服务器的深度神经网络分区方法，其中，将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，基于混沌变异二进制粒子群算法进行粒子寻优问题的求解，并结合所述系统成本模型，得出无人机与边缘计算服务器之间最优分区点的步骤中：
在初始化时利用混沌映射来优化粒子群的位置，优选初始粒子群体，同时，基于遗传算法的变异，将遗传算法中的变异操作结合到二进制粒子群算法中，以得到全局最优解，具体采用Logistic映射来产生混沌变量，表达式为：
Figure 153181DEST_PATH_IMAGE026
其中，y s 为第s次迭代产生的粒子位置优化的混沌变量，y s ∈[0,1]，μ表示控制参数，y s+1为第s+1次迭代产生的粒子位置优化的混沌变量；
再采用取整函数对映射后的位置变量进行修正，表达式为：
Figure 886782DEST_PATH_IMAGE027
其中，round()表示为取整函数，
Figure 702291DEST_PATH_IMAGE028
是修正后粒子位置变量；
通过取整函数对混沌映射后的粒子位置修正后，根据S c (j,t)的计算公式计算每个粒子的适应度值，即计算S c (j,t)的值，取最小值作为群体当前的最优解，并记录相应的粒子的位置为整个粒子群的历史最优解，设定当前每个粒子的位置个体极值为粒子本身的历史最优解；
再利用遗传算法中的变异算子来增大粒子的搜索范围以跳出局部最优，具体的，将粒子局部最优位置以一定的概率进行动态变换以跳出局部最优解，变异操作表示为：
Figure 849239DEST_PATH_IMAGE029
Figure 22776DEST_PATH_IMAGE030
其中，K表示最大迭代次数，rand是均匀分布在[0,1]的随机数，
Figure 1096DEST_PATH_IMAGE031
表示变异概率因子，m min 和m max 分别表示
Figure 862873DEST_PATH_IMAGE031
的最小值和最大值。
根据本发明提供的用于无人机和边缘计算服务器的深度神经网络分区方法，综合考虑了深度神经网络中每层DNN网络输出数据大小以及每层DNN网络计算能耗、无人机与边缘计算服务器的计算能力、无人机到边缘计算服务器的距离、无人机与边缘计算服务器运行每层DNN网络的能耗以及时延，建立了系统成本模型，然后将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，且基于混沌变异二进制粒子群算法对二进制粒子寻优问题进行求解，得出无人机与边缘计算服务器之间最优分区点，能够最大限度的利用无人机的计算资源，实现系统能耗和时延总成本的最小化，有效的提高了无人机执行任务的效率，本发明能够根据DNN的分层结构和输出数据大小，以及每层网络计算所需能耗，在移动设备和边缘计算服务器之间合理划分DNN。
附图说明
图1为本发明一实施例提供的用于无人机和边缘计算服务器的深度神经网络分区方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明一实施例提供的用于无人机和边缘计算服务器的深度神经网络分区方法，包括步骤S1~S2：
S1，获取深度神经网络中每层DNN网络输出数据大小以及每层DNN网络计算能耗，并根据无人机与边缘计算服务器的计算能力、无人机到边缘计算服务器的距离，分析无人机与边缘计算服务器运行每层DNN网络的能耗以及时延，建立系统成本模型。
其中，所述系统成本模型包括系统能耗模型和系统延迟模型，这里的系统指的是由无人机和边缘计算服务器组成的系统。
所述系统能耗模型包括数据传输能耗模型、无人机计算能耗模型、无人机飞行能耗模型；由于边缘计算服务器通常布置在基站，因此不考虑边缘计算服务器的计算能耗
所述系统能耗模型的表达式为：
E c (j,t)=E trans (t)+E(j)+E fly
其中，E c (j,t)表示系统能耗，E trans (t)表示将无人机运行第j层DNN网络后输出的数据传输至边缘计算服务器的能耗，E(j)表示在无人机上执行到第j层DNN网络的计算能耗，E fly 表示无人机的飞行能耗，t表示时隙；
考虑一个由t = 1 ,..., T（T表示时隙t的最大值）索引的分时系统，在每个时隙t内，假设无人机和边缘计算服务器之间的无线信道是不变的。在时隙t内数据的传输速率R (t)与无人机的传输功率P(t)应该满足香农理论：
R(t)=τBlog2(1+P(t)h[t]/σ 2)
因此，所述数据传输能耗模型的表达式为：
Figure 231537DEST_PATH_IMAGE001
其中，P(t)表示表示无人机的传输功率，τ表示时隙持续时间，B表示带宽，R(t)表示在时隙t内数据的传输速率，σ2表示高斯白噪声功率，h[t]表示时隙t中的信道增益；
所述无人机计算能耗模型的表达式为：
Figure 328806DEST_PATH_IMAGE002
Figure 551846DEST_PATH_IMAGE003
其中，M∈{0,1,...,N}，N表示DNN网络的总层数，P layer (j)表示第j层DNN网络在无人机上的运行能耗，D j 表示无人机运行第j层DNN网络时需要处理的数据量，η表示无人机芯片结构的常数系数，K UAV 表示无人机处理一个比特所需的CPU周期，F UAV 表示无人机的计算能力值；
无人机飞行所消耗的能量不可忽略，所述无人机飞行能耗模型的表达式为：
Figure 912420DEST_PATH_IMAGE004
其中，T表示时隙t的最大值，c 1表示无人机的机翼面积常数，c 2表示无人机的载荷系数常数，v[t]表示时隙t对应的无人机的速度，a(t)表示时隙t对应的加速度，g表示重力加速度，∆k表示无人机动能的变化，它是一个固定无人机最终/初始位置的不变标量，若无人机的初速度和终速度相同，则∆k =0，可以忽略不计。此外，当无人机悬停在固定位置，E fly 将趋于无穷大。
系统的总延迟由无人机数据传输至边缘计算服务器的延迟、无人机计算延迟和边缘计算服务器计算延迟组成，因此，所述系统延迟模型的表达式为：
Figure 565119DEST_PATH_IMAGE005
Figure 607024DEST_PATH_IMAGE006
Figure 497620DEST_PATH_IMAGE007
其中，t delay (j,t)表示在第j层DNN网络时，经过t个时隙的系统总时延，t UAV (j)表示在时隙t中无人机上的第j层DNN网络的计算延迟，t ser (j)表示在时隙t中无人机和边缘计算服务器上的第j层DNN网络的计算延迟，i表示第i层DNN网络，D size (j)表示经过第j层DNN网络处理之后的数据大小，K ser 表示边缘计算服务器处理一个比特所需的CPU周期，F ser 表示边缘计算服务器的计算能力值。
最终，所述系统成本模型的表达式为：
Figure 825833DEST_PATH_IMAGE008
其中，S c (j,t)表示在第j层DNN网络分区时系统的成本，β表示权重系数，0≤β≤1。
随着无人机电池状态的变化，需要自适应地划分DNN网络，并将相应的数据上传到边缘计算服务器。因此，定义一个系统成本，包括能耗成本和延迟成本，而分区的目的是最小化系统成本，即求解下式：
Figure 857505DEST_PATH_IMAGE032
其中，还存在以下限制条件：
E(j)+E fly ≤E UAVmax ，E UAVmax 表示无人机最大能耗，该限制条件表示无人机计算能耗与无人机飞行能耗之和不超过无人机最大能耗；
t delay (j,t)≤t max ，t max 表示用户接受的最大时延。
此外，对于权重系数β的选取，当1-β较大时，表示此时用户更关注于计算任务的延迟，对延迟比较敏感；而当β更大时，则表示此时无人机的电量较低，为了增加无人机的使用时间，更关注于计算任务的能耗。
S2，将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，基于混沌变异二进制粒子群算法进行粒子寻优问题的求解，并结合所述系统成本模型，得出无人机与边缘计算服务器之间最优分区点，所述最优分区点对应的系统成本最低。
其中，步骤S2具体包括：
分析DNN网络最优分区点具体为求解
Figure 296576DEST_PATH_IMAGE009
，在分析DNN网络最优分区点时，用一个一位二进制数表示分区决策，二进制数为0时，表示DNN网络在无人机上运行；二进制数为1时，表示DNN网络在边缘计算服务器上执行，DNN网络最优分区点的选取问题就是解决
Figure 41679DEST_PATH_IMAGE009
的0-1整数规划问题；
将解决
Figure 416159DEST_PATH_IMAGE010
的0-1整数规划问题表示为二进制粒子群粒子寻优问题，具体是不同的粒子去选择自己最佳的位置，以及在不同条件下快速搜寻符合场景的位置集合，用Mi表示计算DNN网络前i层的计算任务，用粒子
Figure 309029DEST_PATH_IMAGE011
表示前i层DNN网络，用符号
Figure 755054DEST_PATH_IMAGE012
表示第k次迭代后粒子
Figure 541613DEST_PATH_IMAGE011
在第
Figure 211629DEST_PATH_IMAGE013
维的取值，即粒子位置，粒子位置表示DNN网络分区决策，
Figure 529478DEST_PATH_IMAGE012
∈{0,1}；用符号
Figure 451297DEST_PATH_IMAGE014
表示第k次迭代后第
Figure 967729DEST_PATH_IMAGE011
个粒子的第
Figure 11909DEST_PATH_IMAGE013
维速度，粒子速度表示粒子位置发生变化的概率；
首先对每个粒子给出一个初始化的随机位置和速度，然后进行迭代计算，粒子的速度和位置更新公式表示为：
Figure 239890DEST_PATH_IMAGE016
其中，
Figure 90034DEST_PATH_IMAGE017
表示第k+1次迭代后第
Figure 664235DEST_PATH_IMAGE011
个粒子的第
Figure 551420DEST_PATH_IMAGE011
维速度，w、e 1和e 2分别表示三个系统参数，rand()是一个随机函数，取值范围为[0,1]，
Figure 906178DEST_PATH_IMAGE018
表示粒子
Figure 232117DEST_PATH_IMAGE011
的第
Figure 582195DEST_PATH_IMAGE013
维位置在第k次迭代后的历史最优解，
Figure 296074DEST_PATH_IMAGE019
表示整个粒子群中所有粒子在第
Figure 482335DEST_PATH_IMAGE013
维经过第k次迭代的历史最优解，
Figure 611965DEST_PATH_IMAGE020
和
Figure 223075DEST_PATH_IMAGE019
的取值范围均为[0,1]；
在二进制粒子群算法中，粒子的位置是一个取值为0或1的数，而粒子速度是一个连续值，为了将粒子速度值限制在[0,1]区间内，使用Sigmoid函数将粒子速度映射为更新的位置，表达式如下：
Figure 202795DEST_PATH_IMAGE021
其中，
Figure 204249DEST_PATH_IMAGE022
表示
Figure 199887DEST_PATH_IMAGE017
的Sigmoid函数；
则粒子位置的更新公式采用下式表示：
Figure 275290DEST_PATH_IMAGE023
其中，
Figure 3075DEST_PATH_IMAGE024
∈[0,1]，是一个均匀分布的随机数，
Figure 288563DEST_PATH_IMAGE025
表示第k+1次迭代后粒子
Figure 946946DEST_PATH_IMAGE011
在第
Figure 204752DEST_PATH_IMAGE013
维的取值；当
Figure 165755DEST_PATH_IMAGE025
=0时，表示计算任务Mi在无人机上执行，第i层DNN网络之后的计算任务在边缘计算服务器上执行；当
Figure 79484DEST_PATH_IMAGE025
=1时，表示所有DNN网络的计算任务都在边缘计算服务器上执行。
此外，将DNN分区决策问题转化为二进制粒子群问题进行求解时，由于标准二进制粒子群算法种群多样性差，容易出现早熟收敛即收敛于局部最优解、搜索范围小的缺点，因此在初始化时利用混沌映射来优化粒子群的位置，利用其遍历性和随机性的特点，增强种群的多样性，优选初始粒子群体。同时，基于遗传算法的变异思想，将遗传算法中的变异操作结合到二进制粒子群算法中，使得能够增大粒子的搜索范围跳出局部最优，得到全局最优解。
本实施例中，步骤S2中，在初始化时利用混沌映射来优化粒子群的位置，优选初始粒子群体，同时，基于遗传算法的变异，将遗传算法中的变异操作结合到二进制粒子群算法中，以得到全局最优解，具体采用Logistic映射来产生混沌变量，表达式为：
Figure 89028DEST_PATH_IMAGE026
其中，y s 为第s次迭代产生的粒子位置优化的混沌变量，y s ∈[0,1]，μ表示控制参数，y s+1为第s+1次迭代产生的粒子位置优化的混沌变量。
为了确保初始化后的粒子位置满足分区决策0或1的二进制变量要求，再采用取整函数对映射后的位置变量进行修正，表达式为：
Figure 263658DEST_PATH_IMAGE027
其中，round()表示为取整函数，
Figure 21660DEST_PATH_IMAGE028
是修正后粒子位置变量；
通过取整函数对混沌映射后的粒子位置修正后，根据S c (j,t)的计算公式计算每个粒子的适应度值，即计算S c (j,t)的值，取最小值作为群体当前的最优解，并记录相应的粒子的位置为整个粒子群的历史最优解，设定当前每个粒子的位置个体极值为粒子本身的历史最优解。
此外，为了让粒子快速跳出局部最优，利用遗传算法中的变异算子来增大粒子的搜索范围以便跳出局部最优，本实施例中，再利用遗传算法中的变异算子来增大粒子的搜索范围以跳出局部最优，具体的，将粒子局部最优位置以一定的概率进行动态变换以跳出局部最优解，变异操作表示为：
Figure 485003DEST_PATH_IMAGE029
Figure 94976DEST_PATH_IMAGE033
其中，K表示最大迭代次数，rand是均匀分布在[0,1]的随机数，
Figure 265057DEST_PATH_IMAGE031
表示变异概率因子，m min 和m max 分别表示
Figure 567862DEST_PATH_IMAGE031
的最小值和最大值，m min 和m max 例如分别为0.001和0.05。
综上，根据本发明提供的用于无人机和边缘计算服务器的深度神经网络分区方法，综合考虑了深度神经网络中每层DNN网络输出数据大小以及每层DNN网络计算能耗、无人机与边缘计算服务器的计算能力、无人机到边缘计算服务器的距离、无人机与边缘计算服务器运行每层DNN网络的能耗以及时延，建立了系统成本模型，然后将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，且基于混沌变异二进制粒子群算法对二进制粒子寻优问题进行求解，得出无人机与边缘计算服务器之间最优分区点，能够最大限度的利用无人机的计算资源，实现系统能耗和时延总成本的最小化，有效的提高了无人机执行任务的效率，本发明能够根据DNN的分层结构和输出数据大小，以及每层网络计算所需能耗，在移动设备和边缘计算服务器之间合理划分DNN。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种用于无人机和边缘计算服务器的深度神经网络分区方法，其特征在于，包括：
获取深度神经网络中每层DNN网络输出数据大小以及每层DNN网络计算能耗，并根据无人机与边缘计算服务器的计算能力、无人机到边缘计算服务器的距离，分析无人机与边缘计算服务器运行每层DNN网络的能耗以及时延，建立系统成本模型；
将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，基于混沌变异二进制粒子群算法进行粒子寻优问题的求解，并结合所述系统成本模型，得出无人机与边缘计算服务器之间最优分区点，所述最优分区点对应的系统成本最低；
其中，将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，基于混沌变异二进制粒子群算法进行粒子寻优问题的求解，并结合所述系统成本模型，得出无人机与边缘计算服务器之间最优分区点的步骤具体包括：
分析DNN网络最优分区点具体为求解
Figure 614435DEST_PATH_IMAGE001
，t表示时隙，T表示时隙t的最大值，j表示第j层DNN网络，S c (j,t)表示在第j层DNN网络分区时系统的成本，在分析DNN网络最优分区点时，用一个一位二进制数表示分区决策，二进制数为0时，表示DNN网络在无人机上运行；二进制数为1时，表示DNN网络在边缘计算服务器上执行，DNN网络最优分区点的选取问题就是解决
Figure 595030DEST_PATH_IMAGE001
的0-1整数规划问题；
将解决
Figure 168093DEST_PATH_IMAGE002
的0-1整数规划问题表示为二进制粒子群粒子寻优问题，具体是不同的粒子去选择自己最佳的位置，以及在不同条件下快速搜寻符合场景的位置集合，用Mi表示计算DNN网络前i层的计算任务，用粒子
Figure 652164DEST_PATH_IMAGE003
表示前i层DNN网络，用符号
Figure 714798DEST_PATH_IMAGE004
表示第k次迭代后粒子
Figure 792476DEST_PATH_IMAGE003
在第
Figure 795329DEST_PATH_IMAGE005
维的取值，即粒子位置，粒子位置表示DNN网络分区决策，
Figure 274852DEST_PATH_IMAGE004
∈{0,1}；用符号
Figure 508387DEST_PATH_IMAGE006
表示第k次迭代后第
Figure 932415DEST_PATH_IMAGE007
个粒子的第
Figure 378440DEST_PATH_IMAGE005
维速度，粒子速度表示粒子位置发生变化的概率；
首先对每个粒子给出一个初始化的随机位置和速度，然后进行迭代计算，粒子的速度和位置更新公式表示为：
Figure 571524DEST_PATH_IMAGE008
其中，
Figure 975961DEST_PATH_IMAGE009
表示第k+1次迭代后第
Figure 28230DEST_PATH_IMAGE003
个粒子的第
Figure 605842DEST_PATH_IMAGE005
维速度，w、e 1和e 2分别表示三个系统参数，rand()是一个随机函数，取值范围为[0,1]，
Figure 59957DEST_PATH_IMAGE010
表示粒子
Figure 635295DEST_PATH_IMAGE003
的第
Figure 798030DEST_PATH_IMAGE005
维位置在第k次迭代后的历史最优解，
Figure 54699DEST_PATH_IMAGE011
表示整个粒子群中所有粒子在第
Figure 160058DEST_PATH_IMAGE005
维经过第k次迭代的历史最优解，
Figure 234193DEST_PATH_IMAGE010
和
Figure 729897DEST_PATH_IMAGE011
的取值范围均为[0,1]；
使用Sigmoid函数将粒子速度映射为更新的位置，表达式如下：
Figure 180470DEST_PATH_IMAGE012
其中，
Figure 140335DEST_PATH_IMAGE013
表示
Figure 260738DEST_PATH_IMAGE009
的Sigmoid函数；
则粒子位置的更新公式采用下式表示：
Figure 899530DEST_PATH_IMAGE014
其中，
Figure 498001DEST_PATH_IMAGE015
∈[0,1]，是一个均匀分布的随机数，
Figure 141735DEST_PATH_IMAGE016
表示第k+1次迭代后粒子
Figure 495355DEST_PATH_IMAGE003
在第
Figure 965651DEST_PATH_IMAGE005
维的取值；当
Figure 430130DEST_PATH_IMAGE016
=0时，表示计算任务Mi在无人机上执行，第i层DNN网络之后的计算任务在边缘计算服务器上执行；当
Figure 426905DEST_PATH_IMAGE016
=1时，表示所有DNN网络的计算任务都在边缘计算服务器上执行。
2.根据权利要求1所述的用于无人机和边缘计算服务器的深度神经网络分区方法，其特征在于，所述系统成本模型包括系统能耗模型；
所述系统能耗模型包括数据传输能耗模型、无人机计算能耗模型、无人机飞行能耗模型；
所述系统能耗模型的表达式为：
E c (j,t)=E trans (t)+E(j)+E fly
其中，E c (j,t)表示系统能耗，E trans (t)表示将无人机运行第j层DNN网络后输出的数据传输至边缘计算服务器的能耗，E(j)表示在无人机上执行到第j层DNN网络的计算能耗，E fly 表示无人机的飞行能耗，t表示时隙；
所述数据传输能耗模型的表达式为：
Figure 889111DEST_PATH_IMAGE017
其中，P(t)表示无人机的传输功率，τ表示时隙持续时间，B表示带宽，R(t)表示在时隙t内数据的传输速率，σ2表示高斯白噪声功率，h[t]表示时隙t中的信道增益；
所述无人机计算能耗模型的表达式为：
Figure 909019DEST_PATH_IMAGE018
Figure 973927DEST_PATH_IMAGE019
其中，M∈{0,1,...,N}，N表示DNN网络的总层数，P layer (j)表示第j层DNN网络在无人机上的运行能耗，D j 表示无人机运行第j层DNN网络时需要处理的数据量，η表示无人机芯片结构的常数系数，K UAV 表示无人机处理一个比特所需的CPU周期，F UAV 表示无人机的计算能力值；
所述无人机飞行能耗模型的表达式为：
Figure 966154DEST_PATH_IMAGE020
其中，T表示时隙t的最大值，c 1表示无人机的机翼面积常数，c 2表示无人机的载荷系数常数，v[t]表示时隙t对应的无人机的速度，a[t]表示时隙t对应的加速度，g表示重力加速度，∆k表示无人机动能的变化。
3.根据权利要求2所述的用于无人机和边缘计算服务器的深度神经网络分区方法，其特征在于，所述系统成本模型还包括系统延迟模型；
所述系统延迟模型的表达式为：
Figure 989474DEST_PATH_IMAGE021
Figure 231099DEST_PATH_IMAGE022
Figure 975064DEST_PATH_IMAGE023
其中，t delay (j,t)表示在第j层DNN网络时，经过t个时隙的系统总时延，t UAV (j)表示在时隙t中无人机上的第j层DNN网络的计算延迟，t ser (j)表示在时隙t中无人机和边缘计算服务器上的第j层DNN网络的计算延迟，i表示第i层DNN网络，D size (j)表示经过第j层DNN网络处理之后的数据大小，K ser 表示边缘计算服务器处理一个比特所需的CPU周期，F ser 表示边缘计算服务器的计算能力值。
4.根据权利要求3所述的用于无人机和边缘计算服务器的深度神经网络分区方法，其特征在于，所述系统成本模型的表达式为：
Figure 710546DEST_PATH_IMAGE024
其中，S c (j,t)表示在第j层DNN网络分区时系统的成本，β表示权重系数，0≤β≤1。
5.根据权利要求1所述的用于无人机和边缘计算服务器的深度神经网络分区方法，其特征在于，将无人机与边缘计算服务器执行DNN过程中的分区决策问题，转化为粒子寻优问题，基于混沌变异二进制粒子群算法进行粒子寻优问题的求解，并结合所述系统成本模型，得出无人机与边缘计算服务器之间最优分区点的步骤中：
在初始化时利用混沌映射来优化粒子群的位置，优选初始粒子群体，同时，基于遗传算法的变异，将遗传算法中的变异操作结合到二进制粒子群算法中，以得到全局最优解，具体采用Logistic映射来产生混沌变量，表达式为：
Figure 311291DEST_PATH_IMAGE025
其中，y s 为第s次迭代产生的粒子位置优化的混沌变量，y s ∈[0,1]，μ表示控制参数，y s+1为第s+1次迭代产生的粒子位置优化的混沌变量；
再采用取整函数对映射后的位置变量进行修正，表达式为：
Figure 243475DEST_PATH_IMAGE026
其中，round()表示为取整函数，
Figure 915765DEST_PATH_IMAGE027
是修正后粒子位置变量；
通过取整函数对混沌映射后的粒子位置修正后，根据S c (j,t)的计算公式计算每个粒子的适应度值，即计算S c (j,t)的值，取最小值作为群体当前的最优解，并记录相应的粒子的位置为整个粒子群的历史最优解，设定当前每个粒子的位置个体极值为粒子本身的历史最优解；
再利用遗传算法中的变异算子来增大粒子的搜索范围以跳出局部最优，具体的，将粒子局部最优位置以一定的概率进行动态变换以跳出局部最优解，变异操作表示为：
Figure 679322DEST_PATH_IMAGE028
Figure 654231DEST_PATH_IMAGE029
其中，K表示最大迭代次数，rand是均匀分布在[0,1]的随机数，
Figure 463924DEST_PATH_IMAGE030
表示变异概率因子，m min 和m max 分别表示
Figure 549692DEST_PATH_IMAGE030
的最小值和最大值。
CN202111627783.2A 2021-12-29 2021-12-29 用于无人机和边缘计算服务器的深度神经网络分区方法 Active CN113987692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111627783.2A CN113987692B (zh) 2021-12-29 2021-12-29 用于无人机和边缘计算服务器的深度神经网络分区方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111627783.2A CN113987692B (zh) 2021-12-29 2021-12-29 用于无人机和边缘计算服务器的深度神经网络分区方法

Publications (2)

Publication Number Publication Date
CN113987692A CN113987692A (zh) 2022-01-28
CN113987692B true CN113987692B (zh) 2022-03-22

Family

ID=79734843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111627783.2A Active CN113987692B (zh) 2021-12-29 2021-12-29 用于无人机和边缘计算服务器的深度神经网络分区方法

Country Status (1)

Country Link
CN (1) CN113987692B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130791B (zh) * 2022-08-30 2023-01-03 广东翼景信息科技有限公司 面向车载智能机场的无人机与车辆协同调度方法及装置
CN115765826B (zh) * 2022-09-19 2024-05-31 西安电子科技大学 一种面向按需服务的无人机网络拓扑重构方法
CN117149444B (zh) * 2023-10-31 2024-01-26 华东交通大学 适用于巡检系统的深度神经网络混合划分方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271627A (zh) * 2021-05-14 2021-08-17 天津理工大学 一种基于混沌量子粒子群优化策略的移动边缘计算卸载方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3732932A4 (en) * 2017-12-30 2022-05-11 INTEL Corporation WIRELESS COMMUNICATION METHODS AND DEVICES
CN109600178B (zh) * 2018-12-07 2021-03-30 中国人民解放军军事科学院国防科技创新研究院 一种边缘计算中能耗与时延和最小化的优化方法
KR20200113744A (ko) * 2019-03-26 2020-10-07 한국전자통신연구원 심층 신경망 분할 방법 및 장치
CN110602633B (zh) * 2019-08-02 2021-03-30 广东工业大学 一种面向爆发性流量的移动边缘计算无人机群辅助通信方法
GB2588980A (en) * 2019-11-12 2021-05-19 Samsung Electronics Co Ltd Method and system for neutral network execution distribution
CN111586720B (zh) * 2020-05-11 2022-04-22 重庆邮电大学 一种多小区场景下的任务卸载和资源分配的联合优化方法
CN112351503B (zh) * 2020-11-05 2022-09-06 大连理工大学 基于任务预测的多无人机辅助边缘计算资源分配方法
CN112822701A (zh) * 2020-12-31 2021-05-18 中山大学 边缘计算场景下多用户深度神经网络模型分割与资源分配优化方法
CN112911648A (zh) * 2021-01-20 2021-06-04 长春工程学院 一种空地结合的移动边缘计算卸载优化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271627A (zh) * 2021-05-14 2021-08-17 天津理工大学 一种基于混沌量子粒子群优化策略的移动边缘计算卸载方法

Also Published As

Publication number Publication date
CN113987692A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113987692B (zh) 用于无人机和边缘计算服务器的深度神经网络分区方法
CN112351503B (zh) 基于任务预测的多无人机辅助边缘计算资源分配方法
CN111586720B (zh) 一种多小区场景下的任务卸载和资源分配的联合优化方法
CN110928654B (zh) 一种边缘计算系统中分布式的在线任务卸载调度方法
CN112118287B (zh) 基于交替方向乘子算法与移动边缘计算的网络资源优化调度决策方法
CN112911648A (zh) 一种空地结合的移动边缘计算卸载优化方法
CN113296963B (zh) 一种考虑用户移动性的无人机辅助的边缘计算方法
CN112788605B (zh) 基于双延迟深度确定性策略边缘计算资源调度方法和系统
CN113433967A (zh) 一种可充电无人机路径规划方法及系统
CN112702714A (zh) 一种无人机协作式的车联网运算任务卸载方法
CN114650228A (zh) 一种异构网络中基于计算卸载的联邦学习调度方法
CN114268986A (zh) 一种无人机计算卸载与充电服务效能优化方法
CN112988285A (zh) 任务卸载方法和装置、电子设备及存储介质
CN114521002A (zh) 一种云边端合作的边缘计算方法
CN111930435B (zh) 一种基于pd-bpso技术的任务卸载决策方法
CN115065683B (zh) 基于车辆聚类的车辆边缘网络任务分配卸载方法
CN114745386B (zh) 一种多用户边缘智能场景下的神经网络分割及卸载方法
CN115967430A (zh) 一种基于深度强化学习的成本最优空地网络任务卸载方法
Yao et al. QoS-aware machine learning task offloading and power control in internet of drones
CN113157344B (zh) 移动边缘计算环境下基于drl的能耗感知任务卸载方法
CN114640966A (zh) 一种车联网中基于移动边缘计算的任务卸载方法
CN112600869A (zh) 基于td3算法的计算卸载分配方法和装置
CN117149444B (zh) 适用于巡检系统的深度神经网络混合划分方法
CN117539640B (zh) 一种面向异构推理任务的边端协同系统及资源分配方法
Qin et al. Timeliness-oriented asynchronous task offloading in UAV-edge-computing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Deng Fangming

Inventor after: Zeng Ziqi

Inventor after: Xie Zhongxin

Inventor after: Wei Baoquan

Inventor after: Zeng Han

Inventor after: Mao Wei

Inventor after: Shan Yun

Inventor before: Deng Fangming

Inventor before: Zeng Ziqi

Inventor before: Xie Zhongxin

Inventor before: Wei Baoquan

Inventor before: Zeng Han

Inventor before: Mao Wei

Inventor before: Shan Yun