CN116302539A - 一种边缘计算场景下的模型并行方法、系统、设备及介质 - Google Patents

一种边缘计算场景下的模型并行方法、系统、设备及介质 Download PDF

Info

Publication number
CN116302539A
CN116302539A CN202310281020.XA CN202310281020A CN116302539A CN 116302539 A CN116302539 A CN 116302539A CN 202310281020 A CN202310281020 A CN 202310281020A CN 116302539 A CN116302539 A CN 116302539A
Authority
CN
China
Prior art keywords
model
node
edge
training
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310281020.XA
Other languages
English (en)
Other versions
CN116302539B (zh
Inventor
马英红
徐杭
焦毅
李红艳
刘伟
刘勤
张琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310281020.XA priority Critical patent/CN116302539B/zh
Publication of CN116302539A publication Critical patent/CN116302539A/zh
Application granted granted Critical
Publication of CN116302539B publication Critical patent/CN116302539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种边缘计算场景下的模型并行方法、系统、设备及介质，其方法包括：计算所有可能参与训练的边缘设备的计算和存储能力的综合评分；获取待训练神经网络模型的参数及所有拓扑排序；求每种拓扑排序下的模型的最优划分解；选择最终的模型拆分方案；其系统、设备及介质用于边缘计算场景下的模型并行方法；方法在设置启发式模型拆分算法优化目标时，考虑了边缘设备内存小的实际情况，在选择参与训练的边缘设备时更大概率选择内存大的设备参与训练；在设置启发式模型拆分算法优化目标时，还将使计算时间最小的模型分片训练时长的最优分布特性考虑进去，减小了模型进行流水化模型并行训练的迭代时间，具有缩短训练时间，节约人力物力的特点。

Description

一种边缘计算场景下的模型并行方法、系统、设备及介质
技术领域
本发明属于深度学习分布式训练技术领域，尤其涉及一种边缘计算场景下的模型并行方法、系统、设备及介质。
背景技术
物联网，被称为继计算机和互联网之后，世界信息产业的第三次浪潮。2018年，全球物联网连接数就已达到约80亿个，这些物联网设备产生大量的数据。在传统云计算架构中，这些数据需要集中传输到云端进行处理，这会加大网络负载，造成传输拥堵和数据处理的延迟。在这种情况下，一种新型计算架构——边缘计算——应运而生。边缘计算是指在靠近物或数据源头的一侧，就近提供计算、存储等服务。相比数据集中式的云计算模型，边缘计算在网络的边缘处理数据，这样能够降低网络带宽负载，减少请求响应时间和提升电池续航能力。同时，边缘计算因在靠数据源头的一侧进行，可以保证数据的安全性和私密性。这一优点使得对在边缘网络设备上使用深度学习技术的需求逐日增大。这是因为随着训练数据量的增多，深度学习所训练的模型会变得更好，但在许多领域，法律规定不允许共享与个人相关的数据。在边缘设备上使用深度学习技术，可以解决这一困境。训练深度神经网络需要大量的计算资源，比如计算设备的算力、内存和显存等，边缘设备的内存不大，这可能导致深度神经网络的训练难以进行；且边缘设备的算力不足，这将导致深度神经网络的训练时间过长。解决上述难点，对在边缘计算场景下训练深度神经网络模型具有重要意义。
现有的模型并行方法研究如何在内存资源和算力资源充足的计算设备上，如云端设备，通过模型并行技术加速对大型深度神经网络的训练；而没有考虑如何在内存资源和算力资源不足的计算设备上，如边缘设备，实现深度神经网络的在线训练。
Julien Herrmann在其论文“Acyclic Partitioning of Large DirectedAcyclic Graphs”(IEEE，2017)中提出了一种将大型有向无环图划分为多个无环分区，即所有不同分区之间的依赖关系并不会产生环路的图划分方法。在该方法中，对有向无环图的无环划分采用了分为粗化、初始划分和细化阶段的多层方法，开发了一种直接将有向无环图划分为k个分区的方法。使用该方法生成模型拆分方案存在的不足之处是，在划分模型分片时，没有考虑各分片计算量的均衡问题，使其模型迭代时间较长。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提出一种边缘计算场景下的模型并行方法、系统、设备及介质，利用流水化模型并行技术，能够联合优化模型并行训练中的计算时延和通信时延，得到训练时间优化的流水化模型拆分方案，同时还可选择合适的边缘设备参与训练，具有缩短训练时间，节约人力物力的特点。
为了实现上述目的，本发明采用如下技术方案：
一种边缘计算场景下的模型并行方法，具体步骤如下：
步骤S1、计算所有可能参与训练的边缘设备的计算和存储能力的综合评分；
步骤S2、估算待训练神经网络模型的参数，参数包括模型中各神经网络层的计算量和模型中各神经网络层间的通信传输量；
步骤S3、获取待训练神经网络模型的所有拓扑排序；
步骤S4、对于神经网络的每一种拓扑排序，使用计算时延和通信时延联合优化的流水模型拆分算法求该拓扑排序下的模型的最优划分解；
步骤S5、在所有拓扑排序的最优划分解中选择使模型迭代时间最短的解作为最终的模型拆分方案。
所述步骤S1具体操作如下：
步骤S1.1、获取所有可能参与模型并行训练的边缘设备的算力大小和内存大小；
步骤S1.2、根据步骤S1.1中获取的边缘设备的算力大小和内存大小为设备进行计算和存储能力的综合评分；
步骤S1.3、在选取边缘设备进行模型并行训练时，按照综合评分从高到低的顺序，挑选训练设备加入。
所述步骤S1.2中为设备进行计算和存储能力的综合评分，具体操作如下：
n台边缘设备的内存为{r1,r2,...,rn}，算力为{s1,s2,…,sn}；边缘设备的内存最大值rmax为：
rmax＝max(ri),i∈n；
边缘设备的算力最大值smax为：
smax＝max(si),i∈n；
对n台边缘设备的内存做归一化处理，得到归一化后的设备内存{r'1,r'2,…,r'n}：
Figure BDA0004137998660000041
对n台边缘设备的算力做归一化处理，得到归一化后的设备算力{s'1,s'2,…,s'n}：
Figure BDA0004137998660000042
第i台边缘设备计算和存储能力的综合评分Ii为：
Ii＝0.5×r'i+0.5×s'i。
所述步骤S2中的神经网络层的计算量，即卷积神经网络的基本层的计算量，估计方法如下：
卷积层：卷积层的输入张量尺寸为nbatch×cin×hin×win，nbatch代表训练批次大小，cin为输入特征图通道数，hin为输入特征图高度，win为输入特征图宽度；正方形二维卷积核尺寸为k×k，k为卷积核的高度和宽度；卷积层的输出张量尺寸为nbatch×cout×hout×wout，cout为输出特征图通道数，hout为输出特征图高度，wout为输出特征图宽度；卷积层的计算量为：
FLOPsconv＝2nbatch×k×k×cin×cout×hout×wout；
ReLU层：ReLU层的计算量为：
FLOPsReLU＝nbatch×cin×hin×win；
池化层：池化层的计算量为：
FLOPspooling＝nbatch×cin×hin×win；
全连接层：全连接层的计算量为：
FLOPsfc＝2nbatch×cin×cout；
步骤S2中的各神经网络层间的通信传输量进行估计的具体方法如下：
层间通信传输量：层间通信传输量为各神经网络层的输出张量大小，为：
D＝nbatch×cout×hout×wout。
所述步骤S3中获取待训练神经网络模型的所有拓扑排序，具体方法如下：
步骤S3.1、初始时，所有节点的状态都是「未访问」；
步骤S3.2、每一轮搜索时，任意选取一个「未访问」的节点u，从节点u开始深度优先搜索，将节点u的状态更新为「访问中」，对于每个与节点u相邻的节点v，判断节点v的状态，执行如下操作：
1)如果节点v的状态是「未访问」，则继续搜索节点v；
2)如果节点v的状态是「访问中」，则找到有向图中的环，因此不存在拓扑排序；
3)如果节点v的状态是「已访问」，则节点v已经搜索完成并加入输出排序列表，节点u尚未完成搜索，因此节点u的拓扑顺序一定在节点v的前面，不需要执行任何操作；
步骤S3.3、当节点u的所有相邻节点的状态都是「已访问」时，将节点u的状态更新为「已访问」，并将节点u加入输出排序列表；
步骤S3.4、当所有节点都访问结束之后，如果没有找到有向图中的环，则存在拓扑排序，所有节点从栈顶到栈底的顺序即为拓扑排序。
所述步骤S4的具体操作为：
步骤S4.1、选取目前最优解集；
步骤S4.2、采用本地搜索算法，由最优解集生成下一代解集；
步骤S4.3、若下一代解集为空，停止迭代；
步骤S4.4、混合下一代解集与最优解集，保留一定比例的适应度高的解为目前最优解集；
步骤S4.5、若迭代次数未到达停止条件，重复执行步骤S4.1-步骤S4.5，否则停止迭代。
所述步骤S5具体操作为：
步骤S5.1、对于每一种拓扑排序下的最优划分解，通过代码仿真求得该最优划分解对应的模型拆分方案的模型迭代时间，具体操作如下：
步骤S5.1.1、将流水线设备进行抽象，单个流水线设备类包含设备算力、设备内存、设备通信带宽和承载模型分片编号属性；
步骤S5.1.2、在迭代初始化时，采用一个共享的字典作为已完成任务的数据库，存储已完成的任务的信息；
步骤S5.1.3、迭代中，主线程创建共享字典，依次切换至子线程运行对流水线设备的模拟；每个子线程都对应一个流水线计算设备，子线程读取已完成任务数据库，判断自身将要进行的任务段的前驱任务是否已经完成：若已完成，则模拟计算通信过程，得到该任务执行的起始时间及结束时间，将该任务段的序号、起始时间及结束时间写入已完成任务数据库后，线程进入休眠；若未完成，线程会直接进行休眠；主线程观察到子线程休眠，则切换至下一子线程，等待下一轮任务执行；
步骤S5.2、选择迭代时间最短的最优划分解作为最终的模型拆分方案。
一种边缘计算场景下的模型并行系统，包括：
综合评分模块，用于计算所有可能参与训练的边缘设备的计算和存储能力的综合评分；
参数模块，用于获取待训练神经网络模型的参数；
拓扑排序模块，用于获取待训练神经网络模型的所有拓扑排序；
最优划分解模块，用于使用计算时延和通信时延联合优化的流水模型拆分算法求每种拓扑排序下的模型的最优划分解。
一种边缘计算场景下的模型并行设备，包括：
存储器，用于存储所需数据；
处理器，用于执行所述计算机程序时实现步骤S1至步骤S5所述的一种边缘计算场景下的模型并行方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现边缘计算场景下的模型并行方法。
本发明与现有技术相比，具有如下优点：
1、本发明的步骤S1对所有可能参与训练的边缘设备的计算和存储进行综合评分，在选择训练设备时选择评分高的加入训练，既能保证所选取设备拥有较大的存储，提升了选取更少设备完成深度神经网络的模型并行训练的概率；又能保证选取的设备拥有较大的算力，使它们在进行训练时花费更少的时间。
2、本发明的步骤S4将使计算时间最小的模型分片训练时长的最优分布特性加进优化目标，能够使各模型分片的计算量划分相比无环图划分方法更加均衡，减小了模型的迭代时间。
3、本发明的步骤S4提供了使模型并行训练总时间中计算时间最小的模型分片训练时长的最优分布特性，并将各模型分片实际计算量与最优分布特性的差值作为一个优化目标，能够使拆分方案在迭代中向着计算时间减小的方向改变，优化了模型并行训练中的计算时延。
综上所述，与现有技术相比，本发明能够在选择参与训练的边缘设备时更大概率选择内存大的设备参与训练，减小了模型进行流水化模型并行训练的迭代时间，具有缩短训练时间，节约人力物力的特点。
附图说明
图1为本发明的实现流程图。
图2为本发明中计算时延和通信时延联合优化的流水模型拆分算法流程图。
图3为本发明提供的模型并行方法与无环图划分方法生成的模型拆分方案的模型迭代时间对比图。
具体实施方式
下面结合附图对本发明做详细描述。
参照图1，一种边缘计算场景下的模型并行方法，具体步骤如下：
步骤S1、计算所有可能参与训练的边缘设备的计算和存储能力的综合评分，具体操作如下：
步骤S1.1、获取所有可能参与模型并行训练的边缘设备的算力大小和内存大小；
步骤S1.2、根据步骤S1.1中获取的边缘设备的算力大小和内存大小为设备进行计算和存储能力的综合评分，具体操作如下：
n台边缘设备的内存为{r1,r2,...,rn}，算力为{s1,s2,…,sn}；边缘设备的内存最大值rmax为：
rmax＝max(ri),i∈n；
边缘设备的算力最大值smax为：
smax＝max(si),i∈n；
对n台边缘设备的内存做归一化处理，得到归一化后的设备内存{r'1,r'2,…,r'n}：
Figure BDA0004137998660000091
对n台边缘设备的算力做归一化处理，得到归一化后的设备算力{s'1,s'2,…,s'n}：
Figure BDA0004137998660000092
第i台边缘设备计算和存储能力的综合评分Ii为：
Ii＝0.5×r'i+0.5×s'i；
步骤S1.3、在选取边缘设备进行模型并行训练时，按照综合评分从高到低的顺序，挑选训练设备加入；
步骤S2、估算待训练神经网络模型的参数，参数包括模型中各神经网络层的计算量和模型中各神经网络层间的通信传输量，
所述步骤S2中的神经网络层计算量，即卷积神经网络的基本层的计算量，估计方法如下：
卷积层：卷积层的输入张量尺寸为nbatch×cin×hin×win，nbatch代表训练批次大小，cin为输入特征图通道数，hin为输入特征图高度，win为输入特征图宽度；正方形二维卷积核尺寸为k×k，k为卷积核的高度和宽度；卷积层的输出张量尺寸为nbatch×cout×hout×wout，cout为输出特征图通道数，hout为输出特征图高度，wout为输出特征图宽度；卷积层的计算量为：
FLOPsconv＝2nbatch×k×k×cin×cout×hout×wout；
ReLU层：ReLU层的计算量为：
FLOPsReLU＝nbatch×cin×hin×win；
池化层：池化层的计算量为：
FLOPspooling＝nbatch×cin×hin×win；
全连接层：全连接层的计算量为：
FLOPsfc＝2nbatch×cin×cout；
步骤S2中的各神经网络层间的通信传输量进行估计的具体方法如下：
层间通信传输量：层间通信传输量为各神经网络层的输出张量大小，为：
D＝nbatch×cout×hout×wout；
步骤S3、获取待训练神经网络模型的所有拓扑排序，具体为：
本发明中，将神经网络抽象为有向无环图，因此，神经网络层为有向无环图的节点，该节点的入度为所有输出张量到该层的神经网络层的数量，该节点的出度为所有接收该层的输出张量的神经网络层的数量；使用深度优先遍历算法实现拓扑排序的基本思想是：对于一个特定节点，如果该节点的所有相邻节点都已经搜索完成，则该节点也会变成已经搜索完成的节点，在拓扑排序中，该节点位于其所有相邻节点的前面；一个节点的相邻节点指的是从该节点出发通过一条有向边可以到达的节点(在发明背景中指接收该层的输出张量的神经网络层)；由于拓扑排序的顺序和搜索完成的顺序相反，因此需要使用一个栈存储所有已经搜索完成的节点。深度优先搜索的过程中需要维护每个节点的状态，每个节点的状态可能有3种情况：未访问，访问中和已访问；具体方法如下：
步骤S3.1、初始时，所有节点的状态都是「未访问」；
步骤S3.2、每一轮搜索时，任意选取一个「未访问」的节点u，从节点u开始深度优先搜索。将节点u的状态更新为「访问中」，对于每个与节点u相邻的节点v，判断节点v的状态，执行如下操作：
1)如果节点v的状态是「未访问」，则继续搜索节点v；
2)如果节点v的状态是「访问中」，则找到有向图中的环，因此不存在拓扑排序；
3)如果节点v的状态是「已访问」，则节点v已经搜索完成并加入输出排序列表，节点u尚未完成搜索，因此节点u的拓扑顺序一定在节点v的前面，不需要执行任何操作；
步骤S3.3、当节点u的所有相邻节点的状态都是「已访问」时，将节点u的状态更新为「已访问」，并将节点u加入输出排序列表；
步骤S3.4、当所有节点都访问结束之后，如果没有找到有向图中的环，则存在拓扑排序，所有节点从栈顶到栈底的顺序即为拓扑排序；
步骤S4、对于神经网络的每一种拓扑排序，使用计算时延和通信时延联合优化的流水模型拆分算法求该拓扑排序下的模型的最优划分解，具体为：
计算时延和通信时延联合优化的流水模型拆分算法同时考虑了训练中的计算时间和通信时间，设立了多个优化目标；
首先，设n台计算设备的算力为{s1,s2,…,sn}，设n个模型分片在一个训练微批次上的计算量为{c1,c2,…,cn}，第i个模型分片在第i台计算设备上的训练时间为
Figure BDA0004137998660000111
当所有模型分片训练一个微批次的所用时间相同时，模型分片的最大训练时长达到最短；即使计算时间最小的模型分片训练时长的最优分布特性为：
Figure BDA0004137998660000121
设满足模型分片训练时长的最优分布特性的n个模型分片的计算量为
Figure BDA0004137998660000122
此时，/>
Figure BDA0004137998660000123
设实际划分的n个模型分片的计算量为{c'1，c'2，…，c'n}，设定第一个优化目标为：
Figure BDA0004137998660000124
同时，为了减少各模型分片间的数据传输，第二个优化目标设为各模型分片间通信量之和，可表示为：
Figure BDA0004137998660000125
在流水化模型并行中，各模型分片间的数据传输时单向的，因此需要保证任意两个模型分片间不存在双向连接，即不产生环路：
Figure BDA0004137998660000126
Figure BDA0004137998660000127
因为边缘设备的内存可能不足以完成所分模型分片的训练，设n台计算设备的内存为{r1,r2,...,rn}，n个模型分片训练时需要的内存大小为{R1,R2,...,Rn}，需要满足：
Figure BDA0004137998660000128
整个神经网络的总计算量和各层间的总数据传输量为：
Figure BDA0004137998660000129
Figure BDA00041379986600001210
所有设备的总算力大小S为：
Figure BDA0004137998660000131
将计算时延和通信时延联合优化的流水模型拆分建模为以下优化问题：
Figure BDA0004137998660000132
Figure BDA0004137998660000133
Figure BDA0004137998660000134
Figure BDA0004137998660000135
目标函数argmin
Figure BDA0004137998660000136
中通过第一项最小化流水化模型并行训练中的计算时延，通过第二项最小化流水化模型并行训练中的通信时延；其中，α和β分别代表计算时延和通信时延在模型并行训练时间里所占的比重；将α和β设置如下，其中B代表整个网络的平均带宽：
Figure BDA0004137998660000137
Figure BDA0004137998660000138
设置了优化目标后，采用遗传算法的形式进行问题求解，设计思路如下：在每一种拓扑排序下，为了寻找模型的最优划分解，按照计算时间最小的模型分片训练时长的最优分布特性，拆分网络，生成初始划分解，作为第一代父代，然后采用本地搜索算法，获取子代。混合父代和子代之后，保留一定比例的适应度高的个体作为下一代父代进行迭代。本地搜索算法会记录每个神经网络层在不同划分分片间移动的次数，并基于这个次数决定是否舍弃这个解，不将它加入新子代集中。算法在达到迭代次数或者没有新子代生成后终止。此时算法结果为该拓扑排序下的最优解。参照图2，步骤S4的具体操作为：
步骤S4.1、选取目前最优解集；
步骤S4.2、采用本地搜索算法，由最优解集生成下一代解集；
步骤S4.3、若下一代解集为空，停止迭代；
步骤S4.4、混合下一代解集与最优解集，保留一定比例的适应度高的解为目前最优解集；
步骤S4.5、若迭代次数未到达停止条件，重复执行步骤S4.1-步骤S4.5，否则停止迭代；
生成子集的本地搜索算法的设计思路如下：首先找出每个分片中所有可移动的顶点，本发明中，顶点为模型分片中的神经网络层，位于模型分片Pi中可移动的顶点需要满足至少两个条件中的一个：可前向移动，或顶点没有前驱节点，或所有的前驱节点都不与该顶点在同一个分片中；可后向移动，或顶点没有后继节点，或所有后继节点都不与该节点在同一分片中；算法通过对每个节点分析其前驱节点和后继节点所属的划分分片确定它是否可以移动，若可移动，则进一步确定其在模型分片间移动的范围；在找出所有可移动节点之后，算法根据可移动节点被移动过的次数，决定是否将该节点移动至另一划分区块；该点已移动次数越多，越有可能舍弃该次移动操作；该步骤是为了避免一个节点移动次数过多，通过概率舍弃的方式缩小算法的搜索空间；
步骤S5、在所有拓扑排序的最优划分解中选择使模型迭代时间最短的解作为最终的模型拆分方案，具体操作为：
步骤S5.1、对于每一种拓扑排序下的最优划分解，通过代码仿真求得该最优划分解对应的模型拆分方案的模型迭代时间，具体操作如下：流水化模型并行中，单个设备的运行具有独立性，因此可采用多线程方式模拟各个流水线设备的执行；训练时，一个训练微批次在结束当前设备上模型分片的训练后，当前设备将设备上模型分片的输出张量发送到下个相邻模型分片所在的设备；下个相邻模型分片所在的设备开始对该训练微批次进行训练的时间取决于，当前设备发送的输出张量的到达时间和下个相邻模型分片所在的设备结束它上个计算任务的时间；因此，一个前向过程或反向传播过程的执行依赖于两个条件：(1)设备空闲；(2)前驱依赖过程计算及通信过程完成。
据此，可将计算设备进行抽象。单个设备类包含设备算力，设备内存，设备通信带宽和承载模型分片编号等属性，由单个线程加载执行迭代中的任务。在迭代初始化时，采用一个共享的字典作为已完成任务的数据库存储已进行的任务的信息。迭代中，主线程创建共享字典，依次切换至子线程运行对计算设备的模拟。每个线程都对应一个流水线计算设备，读取已完成任务数据库，判断自身将要进行的任务段的前驱任务是否已经完成。若满足执行条件，则模拟计算通信过程，得到该任务执行的起始时间及结束时间戳。最后，将该任务段的序号、起始时间及结束时间写入已完成任务数据库，线程进入休眠态。若不满足执行条件，线程会直接进行休眠。主线程观察到子线程休眠，则切换至下一子线程，等待下一轮任务执行。通过这种代码仿真方式，可以获取模型拆分方案对应的模型迭代时间。
步骤S5.2、选择迭代时间最短的最优划分解作为最终的模型拆分方案。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真参数设置：
仿真实验将ResNet-50模型划分为1～8个模型分片，设置8台边缘设备的算力和内存如表1：
表1八台边缘设备的算力和内存设定
Figure BDA0004137998660000161
训练使用的仿真参数如表2所示：
表2训练仿真参数设定
参数名称 参数设置
设备带宽 10Gbps
迭代微批数 16
微批大小 32
最大分片数 8
拆分网络 ResNet-50模型
2.仿真内容及其结果分析：
在上述仿真参数下，分别用本发明和无环图划分方法生成ResNet-50模型在被划分为1～8个模型分片时的模型拆分方案，两种方案的模型迭代时间如图3。
由图3可见，ResNet-50模型被划分为1～8个模型分片，本发明方法的迭代时间均小于无环图划分方法的迭代时间。
上述仿真结果表明，本发明在设置启发式模型拆分算法优化目标时，将使计算时间最小的模型分片训练时长的最优分布特性考虑了进去，使得各模型分片的计算量划分相比无环图划分方法更加均衡，减小了模型进行流水化模型并行训练的迭代时间。

Claims (10)

1.一种边缘计算场景下的模型并行方法，其特征在于，具体步骤如下：
步骤S1、计算所有可能参与训练的边缘设备的计算和存储能力的综合评分；
步骤S2、估算待训练神经网络模型的参数，参数包括模型中各神经网络层的计算量和模型中各神经网络层间的通信传输量；
步骤S3、获取待训练神经网络模型的所有拓扑排序；
步骤S4、对于神经网络的每一种拓扑排序，使用计算时延和通信时延联合优化的流水模型拆分算法求该拓扑排序下的模型的最优划分解；
步骤S5、在所有拓扑排序的最优划分解中选择使模型迭代时间最短的解作为最终的模型拆分方案。
2.根据权利要求1所述的一种边缘计算场景下的模型并行方法，其特征在于，所述步骤S1具体操作如下：
步骤S1.1、获取所有可能参与模型并行训练的边缘设备的算力大小和内存大小；
步骤S1.2、根据步骤S1.1中获取的边缘设备的算力大小和内存大小为设备进行计算和存储能力的综合评分；
步骤S1.3、在选取边缘设备进行模型并行训练时，按照综合评分从高到低的顺序，挑选训练设备加入。
3.根据权利要求2所述的一种边缘计算场景下的模型并行方法，其特征在于，所述步骤S1.2中为设备进行计算和存储能力的综合评分，具体操作如下：
n台边缘设备的内存为{r1,r2,...,rn}，算力为{s1,s2,…,sn}；边缘设备的内存最大值rmax为：
rmax＝max(ri),i∈n；
边缘设备的算力最大值smax为：
smax＝max(si),i∈n；
对n台边缘设备的内存做归一化处理，得到归一化后的设备内存{r1',r′2,…,r′n}：
Figure FDA0004137998650000021
对n台边缘设备的算力做归一化处理，得到归一化后的设备算力{s′1,s'2,…,s'n}：
Figure FDA0004137998650000022
第i台边缘设备计算和存储能力的综合评分Ii为：
Ii＝0.5×ri'+0.5×s′i。
4.根据权利要求1所述的一种边缘计算场景下的模型并行方法，其特征在于，所述步骤S2中的神经网络层计算量，即卷积神经网络的基本层的计算量，估计方法如下：
卷积层：卷积层的输入张量尺寸为nbatch×cin×hin×win，nbatch代表训练批次大小，cin为输入特征图通道数，hin为输入特征图高度，win为输入特征图宽度；正方形二维卷积核尺寸为k×k，k为卷积核的高度和宽度；卷积层的输出张量尺寸为nbatch×cout×hout×wout，cout为输出特征图通道数，hout为输出特征图高度，wout为输出特征图宽度；卷积层的计算量为：
FLOPsconv＝2nbatch×k×k×cin×cout×hout×wout；
ReLU层：ReLU层的计算量为：
FLOPsReLU＝nbatch×cin×hin×win；
池化层：池化层的计算量为：
FLOPspooling＝nbatch×cin×hin×win；
全连接层：全连接层的计算量为：
FLOPsfc＝2nbatch×cin×cout；
所述步骤S2中的各神经网络层间的通信传输量进行估计的具体方法如下：
层间通信传输量：层间通信传输量为各神经网络层的输出张量大小，为：
D＝nbatch×cout×hout×wout。
5.根据权利要求1所述的一种边缘计算场景下的模型并行方法，其特征在于，所述步骤S3中获取待训练神经网络模型的所有拓扑排序，具体方法如下：
步骤S3.1、初始时，所有节点的状态都是「未访问」；
步骤S3.2、每一轮搜索时，任意选取一个「未访问」的节点u，从节点u开始深度优先搜索，将节点u的状态更新为「访问中」，对于每个与节点u相邻的节点v，判断节点v的状态，执行如下操作：
1)如果节点v的状态是「未访问」，则继续搜索节点v；
2)如果节点v的状态是「访问中」，则找到有向图中的环，因此不存在拓扑排序；
3)如果节点v的状态是「已访问」，则节点v已经搜索完成并加入输出排序列表，节点u尚未完成搜索，因此节点u的拓扑顺序一定在节点v的前面，不需要执行任何操作；
步骤S3.3、当节点u的所有相邻节点的状态都是「已访问」时，将节点u的状态更新为「已访问」，并将节点u加入输出排序列表；
步骤S3.4、当所有节点都访问结束之后，如果没有找到有向图中的环，则存在拓扑排序，所有节点从栈顶到栈底的顺序即为拓扑排序。
6.根据权利要求1所述的一种边缘计算场景下的模型并行方法，其特征在于，所述步骤S4的具体操作为：
步骤S4.1、选取目前最优解集；
步骤S4.2、采用本地搜索算法，由最优解集生成下一代解集；
步骤S4.3、若下一代解集为空，停止迭代；
步骤S4.4、混合下一代解集与最优解集，保留一定比例的适应度高的解为目前最优解集；
步骤S4.5、若迭代次数未到达停止条件，重复执行步骤S4.1-步骤S4.5，否则停止迭代。
7.根据权利要求1所述的一种边缘计算场景下的模型并行方法，其特征在于，所述步骤S5具体操作为：
步骤S5.1、对于每一种拓扑排序下的最优划分解，通过代码仿真求得该最优划分解对应的模型拆分方案的模型迭代时间，具体操作如下：
步骤S5.1.1、将流水线设备进行抽象，单个流水线设备类包含设备算力、设备内存、设备通信带宽和承载模型分片编号属性；
步骤S5.1.2、在迭代初始化时，采用一个共享的字典作为已完成任务的数据库，存储已完成的任务的信息。
步骤S5.1.3、迭代中，主线程创建共享字典，依次切换至子线程运行对流水线设备的模拟；每个子线程都对应一个流水线计算设备，子线程读取已完成任务数据库，判断自身将要进行的任务段的前驱任务是否已经完成：若已完成，则模拟计算通信过程，得到该任务执行的起始时间及结束时间，将该任务段的序号、起始时间及结束时间写入已完成任务数据库后，线程进入休眠；若未完成，线程会直接进行休眠；主线程观察到子线程休眠，则切换至下一子线程，等待下一轮任务执行；
步骤S5.2、选择迭代时间最短的最优划分解作为最终的模型拆分方案。
8.一种边缘计算场景下的模型并行系统，其特征在于，包括：
综合评分模块，用于计算所有可能参与训练的边缘设备的计算和存储能力的综合评分；
参数模块，用于获取待训练神经网络模型的参数；
拓扑排序模块，用于获取待训练神经网络模型的所有拓扑排序；
最优划分解模块，用于使用计算时延和通信时延联合优化的流水模型拆分算法求该拓扑排序下的模型的最优划分解。
9.一种边缘计算场景下的模型并行设备，其特征在于，包括：
存储器，用于存储所需数据；
处理器，用于执行所述计算机程序时实现步骤S1至步骤S5所述的一种边缘计算场景下的模型并行方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现边缘计算场景下的模型并行方法。
CN202310281020.XA 2023-03-22 2023-03-22 一种边缘计算场景下的模型并行方法、系统、设备及介质 Active CN116302539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310281020.XA CN116302539B (zh) 2023-03-22 2023-03-22 一种边缘计算场景下的模型并行方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310281020.XA CN116302539B (zh) 2023-03-22 2023-03-22 一种边缘计算场景下的模型并行方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN116302539A true CN116302539A (zh) 2023-06-23
CN116302539B CN116302539B (zh) 2025-06-27

Family

ID=86819855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310281020.XA Active CN116302539B (zh) 2023-03-22 2023-03-22 一种边缘计算场景下的模型并行方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN116302539B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777009A (zh) * 2023-08-24 2023-09-19 之江实验室 基于内存池的智能计算系统架构和并行训练方法
CN117155791A (zh) * 2023-10-31 2023-12-01 浪潮电子信息产业股份有限公司 基于集群拓扑结构的模型部署方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242282A (zh) * 2020-01-09 2020-06-05 中山大学 基于端边云协同的深度学习模型训练加速方法
US20210133591A1 (en) * 2019-11-04 2021-05-06 Baidu Usa Llc Reducing training times of deep neural networks through efficient hybrid parallelism
CN112784968A (zh) * 2021-01-29 2021-05-11 东南大学 一种加速分布式深度神经网络训练的混合流水线并行方法
CN115115052A (zh) * 2022-08-11 2022-09-27 杭州电子科技大学 一种基于遗传算法的神经网络自适应分布式并行训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210133591A1 (en) * 2019-11-04 2021-05-06 Baidu Usa Llc Reducing training times of deep neural networks through efficient hybrid parallelism
CN111242282A (zh) * 2020-01-09 2020-06-05 中山大学 基于端边云协同的深度学习模型训练加速方法
CN112784968A (zh) * 2021-01-29 2021-05-11 东南大学 一种加速分布式深度神经网络训练的混合流水线并行方法
CN115115052A (zh) * 2022-08-11 2022-09-27 杭州电子科技大学 一种基于遗传算法的神经网络自适应分布式并行训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王丽;郭振华;曹芳;高开;赵雅倩;赵坤;: "面向模型并行训练的模型拆分策略自动生成方法", 计算机工程与科学, no. 09, 15 September 2020 (2020-09-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777009A (zh) * 2023-08-24 2023-09-19 之江实验室 基于内存池的智能计算系统架构和并行训练方法
CN116777009B (zh) * 2023-08-24 2023-10-20 之江实验室 基于内存池的智能计算系统架构和并行训练方法
CN117155791A (zh) * 2023-10-31 2023-12-01 浪潮电子信息产业股份有限公司 基于集群拓扑结构的模型部署方法、系统、设备及介质
CN117155791B (zh) * 2023-10-31 2024-02-13 浪潮电子信息产业股份有限公司 基于集群拓扑结构的模型部署方法、系统、设备及介质

Also Published As

Publication number Publication date
CN116302539B (zh) 2025-06-27

Similar Documents

Publication Publication Date Title
WO2022083624A1 (zh) 一种模型的获取方法及设备
CN113128702A (zh) 一种基于强化学习的神经网络自适应分布式并行训练方法
US11481627B2 (en) Distributed learning of composite machine learning models
CN112381211B (zh) 基于异构平台执行深度神经网络的系统及方法
CN109818786B (zh) 一种云数据中心应用可感知的分布式多资源组合路径最优选取方法
CN116302539A (zh) 一种边缘计算场景下的模型并行方法、系统、设备及介质
CN111325356A (zh) 一种基于演化计算的神经网络搜索分布式训练系统及训练方法
CN111695668A (zh) 一种基于反向学习的蚁群算法优化方法
CN101616074B (zh) 基于量子进化的组播路由优化方法
CN107911300B (zh) 基于鲸鱼算法的组播路由优化方法及其在Spark平台上的应用
Zhou et al. Hardware-aware graph neural network automated design for edge computing platforms
CN110968920A (zh) 一种边缘计算中链式服务实体的放置方法及边缘计算设备
CN117396851A (zh) 确定分布式训练算法框架配置方法、装置及系统
CN118211623A (zh) 软硬件加速的循环神经网络加速系统、方法及存储介质
CN112256422B (zh) 基于q学习的异构平台任务调度方法及系统
CN111966495A (zh) 数据处理方法和装置
Lan et al. Accelerated device placement optimization with contrastive learning
CN114595914A (zh) 一种面向云环境的工作流调度方法及系统
CN109636709B (zh) 一种适用于异构平台的图计算方法
CN114691327B (zh) 面向两阶段任务调度的多目标群智能优化方法与系统
CN115952856A (zh) 一种基于双向分割的神经网络流水线并行训练方法及系统
CN106161618A (zh) 一种车联网专用短程通信系统路侧通信单元布局优化方法
Lv et al. Evolutionary neural network architecture search
Zhuang et al. DECC: Delay-Aware Edge-Cloud Collaboration for Accelerating DNN Inference
CN115756646A (zh) 一种基于工业互联网的边缘计算任务卸载优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant