CN113469341A - 一种基于版本差异的流水线并行训练节点权重分配方法 - Google Patents

一种基于版本差异的流水线并行训练节点权重分配方法 Download PDF

Info

Publication number
CN113469341A
CN113469341A CN202110766607.0A CN202110766607A CN113469341A CN 113469341 A CN113469341 A CN 113469341A CN 202110766607 A CN202110766607 A CN 202110766607A CN 113469341 A CN113469341 A CN 113469341A
Authority
CN
China
Prior art keywords
node
weight
training
batch
version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110766607.0A
Other languages
English (en)
Inventor
毛莺池
屠子健
聂华
黄建新
徐淑芳
吴俊�
戚荣志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Zhongke Controllable Information Industry Co Ltd
Original Assignee
Hohai University HHU
Zhongke Controllable Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU, Zhongke Controllable Information Industry Co Ltd filed Critical Hohai University HHU
Priority to CN202110766607.0A priority Critical patent/CN113469341A/zh
Publication of CN113469341A publication Critical patent/CN113469341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3867—Concurrent instruction execution, e.g. pipeline or look ahead using instruction pipelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于版本差异的流水线并行训练节点权重分配方法，载入初始化深度学习模型；构建流水线并行训练方案，采用异步参数更新方法，并发执行不同批次的训练，记录训练批次在单位流水线执行时间内完成前向和后向传递过程。利用最新的训练节点权重版本，预测出未来训练过程的节点权重，根据节点权重预测进行该批次版本差异计算。待该节点完成所有批次的版本差异计算，则完成该节点的预测权重更新。计算了所有节点的版本差异，即完成流水线并行训练节点权重分配；并将其部署到异构计算节点中，得到针对拟训练目标网络的流水线并行训练节点权重分配方案。本发明方法使节点权重预测更加准确。

Description

一种基于版本差异的流水线并行训练节点权重分配方法
技术领域
本发明涉及一种基于版本差异的流水线并行训练节点权重分配方法，属于计算机流水线系统优化技术领域。
背景技术
深度神经网络广泛应用于各种领域，取得了超越人类的预测效果。随着模型的精度等要求越来越高，模型参数规模和计算需求越来越大，训练模型成为一个计算十分密集和耗时的任务。研究人员经常使用分布式计算机集群加速模型训练过程。分布式深度学习并行训练致力于加速DNN模型训练过程，已被很多学者研究。其中，流水线并行训练研究越来越深入。流水线并行训练可以解决数据并行的通信瓶颈与模型并行的计算资源浪费问题。然而，朴素流水线并行训练存在权重陈旧问题，影响模型收敛。在单机训练过程中，每个训练批次的前向传递与后向传递都是基于最新的权值进行计算的。与单机训练不同，流水线系统中每个批次的前向与后向传递计算在多个计算节点上跨多个时间单位执行。流水线系统同时处理多个批次的数据，后处理的批次在先处理的批次更新权值之前就开始其训练过程。每个批次在前向和后向传递计算的整个过程中使用了不同版本的权重。每个节点都存在权重陈旧问题，这种权重陈旧性会导致DNN模型训练不稳定、模型精度下降，甚至无法完成收敛。针对权重陈旧问题，研究更加精确的节点权重预测方法，具有重要意义。
发明内容
发明目的：为了解决流水线并行训练中的节点权重陈旧性和现有节点权重预测方法精度低的问题，本发明提供一种基于版本差异的流水线并行训练节点权重分配方法，以异步流水线并行训练为基础，使节点权重预测更加准确，进一步促进提高深度学习模型精度，保证模型训练的有效性。
技术方案：一种基于版本差异的流水线并行训练节点权重分配方法，包括如下步骤：
(1)初始化深度学习模型，并把该模型载入；
(2)构建流水线并行训练方案，采用异步参数更新方法，并发执行不同节点中不同批次的训练，记录各个训练批次在单位流水线执行时间内完成前向和后向传递过程；
(3)利用最新的训练节点权重版本，预测出未来训练过程中的节点权重；
(4)根据节点权重预测进行当前批次版本差异计算；
(5)判断当前批次计算得到的前向与后向传递版本差异值是否为0，是则不更新节点预测权重，否则根据版本差异进行权重更新；
(6)判断该节点是否完成所有批次的版本差异计算，是则完成该节点的预测权重更新，否则返回步骤(3)-(5)继续迭代；
(7)判断所有节点的版本差异计算是否全部完成，是则完成流水线并行训练节点权重分配，否则返回步骤(6)继续迭代；
(8)按照上述权重分配方案将其部署到异构计算节点中，得到针对拟训练目标网络的流水线并行训练节点权重分配方案。
进一步的，所述步骤(2)中单位流水线执行时间主要指前向传递和后向传递计算时间之和。
进一步的，所述步骤(3)中预测未来训练过程节点权重的具体步骤如下：
(3.1)预测未来训练过程节点权重的下降梯度；
(3.2)计算下一时刻的节点权重值。
进一步的，所述步骤(4)中进行当前批次版本差异计算的具体步骤如下：
(4.1)计算当前批次执行前向传递时所处阶段的版本差异；
(4.2)计算当前批次执行后向传递时所处阶段的版本差异。
进一步的，所述步骤(3.1)中预测未来训练过程权重的下降梯度的具体步骤如下：
定义关于t-1时刻参数θt-1的目标函数为f(θt-1)，计算f(θt-1)的梯度gt，其公式为：
Figure BDA0003151927590000021
对gt进行修正，得到修正后的梯度
Figure BDA0003151927590000022
其公式为：
Figure BDA0003151927590000023
对于历史梯度计算的一阶矩估计mt和二阶矩估计nt，其公式为：
mt＝μmt-1+(1-μ)gt
Figure BDA0003151927590000024
其中μ，ν分别代表了一阶矩估计和二阶矩估计的衰减因子。分别对mt、nt进行修正，得到修正后的一阶矩估计
Figure BDA0003151927590000025
和二阶矩估计
Figure BDA0003151927590000026
其公式为：
Figure BDA0003151927590000027
Figure BDA0003151927590000031
计算下一时刻的动量更新
Figure BDA0003151927590000032
其公式为：
Figure BDA0003151927590000033
定义预测时刻t的下降梯度ΔWt，其公式为：
Figure BDA0003151927590000034
进一步的，所述步骤(3.2)中计算下一时刻的节点权重值的具体步骤如下：
计算从t时刻到t+1时刻的节点权重更新，其公式为：
Wt+1＝Wt-η·ΔWt
其中η是学习率，ΔWt为t时刻的下降梯度。假设一个批次在t时刻完成其往返训练过程。因此，计算t+1时刻的节点预测权重的公式为：
Figure BDA0003151927590000035
其中
Figure BDA0003151927590000036
为权重预测技术在该批次开始执行前向传递时根据节点权重变化趋势预测t时刻的未来权重，并以此节点预测权重计算该批次的前向与后向传递。
进一步的，所述步骤(4.1)中计算该批次执行前向传递时所处阶段的版本差异的具体步骤如下：
当该批次执行前向传递计算时，当前所处阶段的版本差异s的计算公式为：
Figure BDA0003151927590000037
其中，index为当前计算节点编号(从0开始)，N为流水线系统计算节点数量。
进一步的，所述步骤(4.2)中计算该批次执行后向传递时所处阶段的版本差异的具体步骤如下：
当该批次在后向传递过程时，当前所处阶段的版本差异s的计算公式为：
Figure BDA0003151927590000038
其中，index为当前计算节点编号(从0开始)。
进一步的，所述步骤(5)中根据版本差异进行节点权重更新的具体步骤如下：
考虑流水线中不同阶段完成某批次训练所需时间不同，计算未来t+k时刻节点权重的公式为：
Figure BDA0003151927590000041
其中s为权重版本差异，即该阶段中当前批次所处时间与该批次完成后向传递时间单位之差。权重版本差异s可以根据当前阶段序号、流水线阶段总数计算得出。通过在前向后向传递中使用计算得到节点的预测权重
Figure BDA0003151927590000042
代替陈旧的节点权重。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的基于版本差异的流水线并行训练节点权重分配方法。
有益效果：与现有技术相比，本发明针对流水线并行训练中的节点权重陈旧性和现有节点权重预测方法精度低的问题，以异步流水线并行训练为基础，使用更加精确的节点权重预测方法，计算节点权重版本差异值，提高节点权重预测准确性，进一步提高了模型精度，实现良好的节点权重更新，进一步保证了模型训练的有效性。
附图说明
图1为具体实施例中多节点流水线并行训练权重更新示例图；
图2为本发明实施例中的方法流程图；
图3为具体实施例中基于版本差异的流水线并行训练权重分配方法思路示例图；
图4为具体实施例中典型流水线并行示例图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
针对流水线并行训练中的节点权重陈旧性和现有节点权重预测方法精度低的问题，以异步流水线并行训练为基础，使用更加精确的权重预测方法，计算权重版本差异值，提高节点权重预测准确性，进一步提高模型精度，实现良好的节点权重更新，进一步保证模型训练的有效性。
图1(a)为单节点训练不同批次示例图。
Wt表示在t时刻的权重，Wt根据前一个批次在t-1时刻的后向传递计算产生的。在t时刻，每个批次的前向与后向传递都是根据最新的权值Wt进行计算。图中批次4后向传递完成后生成W5，批次5前向传递与后向传递根据W5进行计算。
图1(b)为多节点流水线并行训练权重更新示例图。
该流水线系统每个阶段均使用1个计算节点。Wi j表示第i个节点中第j个批次训练使用的权重版本，虚线箭头走向表示批次5的完整流水线训练流程。可以发现在节点0中，批次5的前向传递使用
Figure BDA0003151927590000051
进行计算，后向传递使用
Figure BDA0003151927590000052
进行计算，而
Figure BDA0003151927590000053
是应用了批次4的后向传递更新之后生成的。
图2为基于版本差异的流水线并行训练权重分配方法流程图。
步骤A：初始化深度学习模型，并把该模型载入流水线系统；构建流水线并行训练方案，采用异步参数更新方法，并发执行不同节点中不同批次的训练，记录各个训练批次在单位流水线执行时间内完成前向和后向传递过程。
步骤B：利用最新的训练节点权重版本，预测出未来训练过程中节点的权重。
步骤B1：预测未来训练过程中节点权重的下降梯度。其具体步骤如下：
定义关于t-1时刻节点参数θt-1(这里指需要更新的参数：最新的训练节点参数)的目标函数为f(θt-1)，计算f(θt-1)的梯度gt，其公式为：
Figure BDA0003151927590000054
对gt进行修正，得到修正后的梯度
Figure BDA0003151927590000055
其公式为：
Figure BDA0003151927590000056
μi表示i时刻的一阶矩估计衰减因子。
对于历史梯度计算的一阶矩估计和二阶矩估计mt、nt，其公式为：
mt＝μmt-1+(1-μ)gt
Figure BDA0003151927590000057
其中μ，ν分别代表了一阶矩估计和二阶矩估计的衰减因子，mt-1表示t-1时刻的一阶矩估计，nt-1表示t-1时刻的二阶矩估计。对mt、nt进行修正，得到修正后的一阶矩估计和二阶矩估计
Figure BDA0003151927590000058
其公式为：
Figure BDA0003151927590000059
Figure BDA00031519275900000510
其中，vt表示ν的t次幂。
计算下一时刻的动量更新
Figure BDA0003151927590000061
其公式为：
Figure BDA0003151927590000062
定义预测时刻t的下降梯度ΔWt，其公式为：
Figure BDA0003151927590000063
其中，ε是一个很小的值，防止分母为0，一般取为1×10-10。
步骤B2：计算下一时刻的节点权重值。其具体步骤为：
计算从t时刻到t+1时刻的节点权重更新，其公式为：
Wt+1＝Wt-η·ΔWt
其中η是学习率，ΔWt为t时刻的下降梯度。假设一个批次在t时刻完成其往返训练过程。因此，计算t+1时刻的节点预测权重的公式为：
Figure BDA0003151927590000064
其中
Figure BDA0003151927590000065
为节点权重预测技术在该批次开始执行前向传递时根据节点权重变化趋势预测t时刻的未来权重，并以此预测权重计算该批次的前向与后向传递。
图3为具体实施例中基于版本差异的流水线并行训练节点权重分配方法思路示例图。
假设某训练批次在t时间单位完成了它的前向和后向传递过程，节点权重预测技术可以在该批次前向传递计算开始时，利用已有的最新节点权重预测出未来训练过程t时刻的权重，并且在其整个传播往返行程中使用这个预测版本节点权重进行计算。当该批次完成整个训练过程时，预测权重成为最新的节点权重。
步骤C：根据节点权重预测进行该批次版本差异计算。
步骤C1：计算该批次执行前向传递时所处阶段的版本差异。其具体步骤如下：
当该批次执行前向传递计算时，当前所处阶段的版本差异s的计算公式为：
Figure BDA0003151927590000066
其中，index为当前计算节点编号(从0开始)，N为流水线系统计算节点数量。
步骤C2：计算该批次执行后向传递时所处阶段的版本差异。其具体步骤如下：
当该批次在后向传递过程时，当前所处阶段的版本差异s的计算公式为：
Figure BDA0003151927590000067
其中，index为当前计算节点编号(从0开始)。
步骤D：判断该批次计算得到的前向与后向传递版本差异值是否为0，是则不更新节点预测权重，否则根据版本差异进行节点权重更新。其具体步骤如下：
考虑流水线中不同阶段完成某批次训练所需时间不同，计算未来t+k时刻节点权重的公式为：
Figure BDA0003151927590000071
其中s为节点权重版本差异，即该阶段中当前批次所处时间与该批次完成后向传递时间单位之差。权重版本差异s可以根据当前阶段序号、流水线阶段总数计算得出。通过在前向后向传递中使用计算得到的节点预测权重
Figure BDA0003151927590000072
代替陈旧的节点权重。
步骤E：判断该节点是否完成所有批次的版本差异计算，是则完成该节点的预测权重更新，否则返回步骤B-D继续迭代。
步骤F：判断所有节点的版本差异计算是否全部完成，是则完成流水线并行训练节点权重分配，否则返回步骤E继续迭代。
步骤G：按照步骤F得到的节点权重分配方案将其部署到异构计算节点中，得到针对拟训练目标网络的流水线并行训练节点权重分配方案。
图4为基于深度强化学习的流水线并行训练任务分配方法示例图。
对DNN模型进行运行时分析，获取模型层数、名称、参数量、计算量等信息。以异步流水线并行训练为基础，使用更加精确的节点权重预测方法，计算权重版本差异值，提高节点权重预测准确性，提高模型精度，实现良好的节点权重更新，进一步保证模型训练的有效性。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于版本差异的流水线并行训练节点权重分配方法各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

Claims (10)

1.一种基于版本差异的流水线并行训练节点权重分配方法，其特征在于，包括如下步骤：
(1)初始化深度学习模型，并把该模型载入；
(2)构建流水线并行训练方案，采用异步参数更新方法，并发执行不同节点中不同批次的训练，记录各个训练批次在单位流水线执行时间内完成前向和后向传递过程；
(3)利用最新的训练节点权重版本，预测出未来训练过程中的节点权重；
(4)根据节点权重预测进行当前批次版本差异计算；
(5)判断当前批次计算得到的前向与后向传递版本差异值是否为0，是则不更新节点预测权重，否则根据版本差异进行权重更新；
(6)判断该节点是否完成所有批次的版本差异计算，是则完成该节点的预测权重更新，否则返回步骤(3)-(5)继续迭代；
(7)判断所有节点的版本差异计算是否全部完成，是则完成流水线并行训练节点权重分配，否则返回步骤(6)继续迭代；
(8)按照上述权重分配方案将其部署到异构计算节点中，得到针对拟训练目标网络的流水线并行训练节点权重分配方案。
2.根据权利要求1所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(2)中单位流水线执行时间主要指前向传递和后向传递计算时间之和。
3.根据权利要求1所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(3)中预测未来训练过程节点权重的具体步骤如下：
(3.1)预测未来训练过程节点权重的下降梯度；
(3.2)计算下一时刻的节点权重值。
4.根据权利要求1所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(4)中进行当前批次版本差异计算的具体步骤如下：
(4.1)计算当前批次执行前向传递时所处阶段的版本差异；
(4.2)计算当前批次执行后向传递时所处阶段的版本差异。
5.根据权利要求3所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(3.1)中预测未来训练过程权重的下降梯度的具体步骤如下：
定义关于t-1时刻参数θt-1的目标函数为f(θt-1)，计算f(θt-1)的梯度gt，其公式为：
Figure FDA0003151927580000011
对gt进行修正，得到修正后的梯度
Figure FDA0003151927580000012
其公式为：
Figure FDA0003151927580000021
对于历史梯度计算的一阶矩估计mt和二阶矩估计nt，其公式为：
mt＝μmt-1+(1-μ)gt
Figure FDA0003151927580000022
其中μ，ν分别代表了一阶矩估计和二阶矩估计的衰减因子；分别对mt、nt进行修正，得到修正后的一阶矩估计
Figure FDA0003151927580000023
和二阶矩估计
Figure FDA0003151927580000024
其公式为：
Figure FDA0003151927580000025
Figure FDA0003151927580000026
计算下一时刻的动量更新
Figure FDA0003151927580000027
其公式为：
Figure FDA0003151927580000028
定义预测时刻t的下降梯度ΔWt，其公式为：
Figure FDA0003151927580000029
6.根据权利要求3所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(3.2)中计算下一时刻的节点权重值的具体步骤如下：
计算从t时刻到t+1时刻的节点权重更新，其公式为：
Wt+1＝Wt-η·ΔWt
其中η是学习率，ΔWt为t时刻的下降梯度；假设一个批次在t时刻完成其往返训练过程；因此，计算t+1时刻的节点预测权重的公式为：
Figure FDA00031519275800000210
其中
Figure FDA00031519275800000211
为权重预测技术在该批次开始执行前向传递时根据节点权重变化趋势预测t时刻的未来权重，并以此节点预测权重计算该批次的前向与后向传递。
7.根据权利要求4所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(4.1)中计算该批次执行前向传递时所处阶段的版本差异的具体步骤如下：
当该批次执行前向传递计算时，当前所处阶段的版本差异s的计算公式为：
Figure FDA0003151927580000031
其中，index为当前计算节点编号，N为流水线系统计算节点数量。
8.根据权利要求4所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(4.2)中计算该批次执行后向传递时所处阶段的版本差异的具体步骤如下：
当该批次在后向传递过程时，当前所处阶段的版本差异s的计算公式为：
Figure FDA0003151927580000032
其中，index为当前计算节点编号。
9.根据权利要求1所述的基于版本差异的流水线并行训练节点权重分配方法，其特征在于，所述步骤(5)中根据版本差异进行节点权重更新的具体步骤如下：
考虑流水线中不同阶段完成某批次训练所需时间不同，计算未来t+k时刻节点权重的公式为：
Figure FDA0003151927580000033
其中s为权重版本差异，即该阶段中当前批次所处时间与该批次完成后向传递时间单位之差；权重版本差异s可以根据当前阶段序号、流水线阶段总数计算得出；通过在前向后向传递中使用计算得到节点的预测权重
Figure FDA0003151927580000034
代替陈旧的节点权重。
10.一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-9中任一项所述的基于版本差异的流水线并行训练节点权重分配方法。
CN202110766607.0A 2021-07-07 2021-07-07 一种基于版本差异的流水线并行训练节点权重分配方法 Pending CN113469341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110766607.0A CN113469341A (zh) 2021-07-07 2021-07-07 一种基于版本差异的流水线并行训练节点权重分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110766607.0A CN113469341A (zh) 2021-07-07 2021-07-07 一种基于版本差异的流水线并行训练节点权重分配方法

Publications (1)

Publication Number Publication Date
CN113469341A true CN113469341A (zh) 2021-10-01

Family

ID=77878859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110766607.0A Pending CN113469341A (zh) 2021-07-07 2021-07-07 一种基于版本差异的流水线并行训练节点权重分配方法

Country Status (1)

Country Link
CN (1) CN113469341A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085458A1 (ko) * 2021-11-11 2023-05-19 한국전자기술연구원 경량 딥러닝 학습 메모리 제어 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228645A1 (en) * 2016-02-05 2017-08-10 Nec Laboratories America, Inc. Accelerating deep neural network training with inconsistent stochastic gradient descent
CN108829441A (zh) * 2018-05-14 2018-11-16 中山大学 一种分布式深度学习的参数更新优化系统
CN112381218A (zh) * 2020-11-20 2021-02-19 中国人民解放军国防科技大学 一种用于分布式深度学习训练的本地更新方法
US20210089887A1 (en) * 2019-09-24 2021-03-25 Apple Inc. Variance-Based Learning Rate Control For Training Machine-Learning Models
CN112862088A (zh) * 2021-01-18 2021-05-28 中山大学 一种基于流水线环形参数通信的分布式深度学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228645A1 (en) * 2016-02-05 2017-08-10 Nec Laboratories America, Inc. Accelerating deep neural network training with inconsistent stochastic gradient descent
CN108829441A (zh) * 2018-05-14 2018-11-16 中山大学 一种分布式深度学习的参数更新优化系统
US20210089887A1 (en) * 2019-09-24 2021-03-25 Apple Inc. Variance-Based Learning Rate Control For Training Machine-Learning Models
CN112381218A (zh) * 2020-11-20 2021-02-19 中国人民解放军国防科技大学 一种用于分布式深度学习训练的本地更新方法
CN112862088A (zh) * 2021-01-18 2021-05-28 中山大学 一种基于流水线环形参数通信的分布式深度学习方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085458A1 (ko) * 2021-11-11 2023-05-19 한국전자기술연구원 경량 딥러닝 학습 메모리 제어 방법 및 장치

Similar Documents

Publication Publication Date Title
CN111191934B (zh) 一种基于强化学习策略的多目标云工作流调度方法
JP2019164793A5 (zh)
CN110737529A (zh) 一种面向短时多变大数据作业集群调度自适应性配置方法
US11222288B2 (en) Building deep learning ensembles with diverse targets
CN115168027B (zh) 一种基于深度强化学习的算力资源度量方法
CN104239194A (zh) 基于bp神经网络的任务完成时间预测方法
Tian et al. Time-delay compensation method for networked control system based on time-delay prediction and implicit PIGPC
Teng et al. Bayesian distributed stochastic gradient descent
WO2021214638A1 (en) Asynchronous quantum information processing
CN116307498A (zh) 施工任务智能调度方法、装置、存储介质和处理器
CN113469341A (zh) 一种基于版本差异的流水线并行训练节点权重分配方法
CN117236541A (zh) 基于注意力指针网络的分布式物流配送路径规划方法及系统
CN118193209A (zh) 一种基于阶段性策略梯度的预测式云平台资源调度方法
Mansour et al. Allocating data to multicomputer nodes by physical optimization algorithms for loosely synchronous computations
CN113220466A (zh) 一种基于长短期记忆模型的云服务负载通用预测方法
CN117076083A (zh) 一种任务调度方法和装置
US20220138564A1 (en) Batch Processing in a Machine Learning Computer
CN115794405A (zh) 一种基于SSA-XGboost算法的大数据处理框架的动态资源分配方法
KR20090032328A (ko) 가중치 기반 멀티큐 부하분산 병렬처리 시스템 및 방법
CN115220818A (zh) 基于深度强化学习的实时依赖型任务卸载方法
CN104537224A (zh) 基于自适应学习算法的多状态系统可靠性分析方法及系统
CN115903514A (zh) 随机工时下复杂装备资源项目集群鲁棒调度方法
KR102539223B1 (ko) 엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법
CN117118836A (zh) 基于资源预测的服务功能链多阶段节能迁移方法
CN113238873A (zh) 一种用于航天器资源优化配置的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211001