CN108829441B - 一种分布式深度学习的参数更新优化系统 - Google Patents
一种分布式深度学习的参数更新优化系统 Download PDFInfo
- Publication number
- CN108829441B CN108829441B CN201810457650.7A CN201810457650A CN108829441B CN 108829441 B CN108829441 B CN 108829441B CN 201810457650 A CN201810457650 A CN 201810457650A CN 108829441 B CN108829441 B CN 108829441B
- Authority
- CN
- China
- Prior art keywords
- parameter
- theta
- gradient
- working node
- version number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种分布式深度学习的参数更新优化系统；在参数更新部分对参数进行了版本控制，在参数服务器端和工作节点上都增加了参数的版本号，当前的工作节点拉取最新版本的参数进行训练跟梯度计算后，参数服务器会根据两个版本号的差值作为此工作节点此次迭代的梯度陈旧度σi,l，然后将梯度乘以
对参数进行更新；进一步的设定一个强制同步的迭代次数T，每个工作节点在进行T次迭代后会强制同步一次，两种机制相结合来改善梯度陈旧导致的收敛性差的问题。
Description
技术领域
本发明涉及深度学习的技术领域，特别涉及一种分布式深度学习的参数更新优化系统。
背景技术
目前，深度学习成为了机器学习领域的一个新兴研究方向，深度学习是一种高效的特征提取方法，能够提取数据中更加抽象的特征，对数据具有更强的模型泛化能力，由于数据集和神经网络模型层数的增加，开始抛弃单节点这种耗时和受内存限制的训练方法，开始使用大规模的分布式集群进行训练，从而诞生了一种参数服务器的角色。参数服务器的出现将根据梯度更新参数的部分由工作节点剥离到参数服务器上进行，有效的提高了训练速度，解决了工作节点参数存储空间不够等问题。
根据并行策略的不同，有两种分布式训练的方法，一种是数据并行，一种为模型并行。在数据并行策略下，训练集会被进行划分，不同的节点含有同一个模型的多个副本，仅对分配到的部分数据集进行训练。利用参数服务器实现的数据并行有同步和异步之分，如果采用同步通信模式，所有的工作节点在同时训练完一个批次的数据后，需要对梯度进行聚合平均，并更新训练参数，然后拉取新的参数进行下一个批次的训练，这种通信模式会因为其中某些性能较差的节点影响整体的训练进度，产生木桶效应。然而另外一种异步通信模式的提出克服了这种缺点，它允许工作节点每完成一个批次的训练，就立即将梯度发给参数服务器进行参数更新，不需要等待其余的工作节点训练完，大大提高了训练的效率。不过这种异步更新的模式没有考虑到集群环境下机器性能的差异问题，不同工作节点计算和传递梯度的时间不一致，梯度所拥有的价值也不一样。在一个工作节点拉取参数进行计算的过程中，参数服务器上的参数可能已经收到其他工作节点发来的梯度进行了更新，产生梯度延迟的现象，从而导致整个模型的收敛性变差，甚至不收敛。
发明内容
本发明为解决上述的一种或多种不足，提供一种分布式深度学习的参数更新优化系统。
为解决上述技术问题，本发明采用的技术方案是：
一种分布式深度学习的参数更新优化系统，包括一个多个参数服务器节点和多个工作节点，包括以下步骤：
S1.每个工作节点读入本地的一批训练数据至内存；
S2.工作节点根据用户规定好的模型结构，随机初始化各层参数，并记录当前参数版本为θ1＝0，参数服务器设置参数版本号为θ2＝0。
S3.工作节点根据读入的样本数据及对应的期望输出，进行前向传播，最后得到模型的输出值；其中，各工作节点互不影响，独立计算。
S4.工作节点根据前向传播的模型输出与样本数据的期望输出的误差得到损失值Loss，根据损失值Loss进行反向传播，逐层计算参数梯度υ。
S5.工作节点将计算完的梯度以及当前使用的参数版本号发回至参数服务器，参数服务器每收到一个工作节点传来的梯度就将参数版本号加1，即θ2＝θ2+1；
S6.参数服务器对θ2进行判断，如果θ2等于T，表明全部工作节点已经执行T此迭代，则采用同步的聚合平均方式，等待所有工作节点完成自己本轮的迭代后，汇总平均梯度值，将平均梯度值与参数相加得到新的参数；如果θ2小于T，根据公式w＝w+λ*υ更新参数，其中λ为梯度陈旧度，λ＝1/(θ2-θ1)；
S7.工作节点从参数服务器上拉取新的参数以及版本号，将本地的参数版本号更新，即θ1＝θ2，继续读入下一批数据进行新一轮训练；
其中，
θ1：工作节点的参数版本号；
θ2：参数服务器的参数版本号；
υ：工作节点计算出的梯度；
w：模型参数；
λ:梯度陈旧度；
T：强制同步间隔。
在上述方案中，在参数更新部分对参数进行了版本控制，在参数服务器端和工作节点上都增加了参数的版本号，当前的工作节点拉取最新版本的参数进行训练跟梯度计算后，参数服务器会根据两个版本号的差值作为此工作节点此次迭代的梯度陈旧度λ，然后将梯度乘以λ对参数进行更新；进一步的设定一个强制同步的迭代次数T，每个工作节点在进行T次迭代后会强制同步一次，两种机制相结合来改善梯度陈旧导致的收敛性差的问题。
优选的，所述的参数服务器负责参数的存储和更新，共同维护全局共享的模型参数，可由用户设置为一个或多个。
优选的，所述的工作节点保留部分训练数据，并执行计算，设有多个。
优选的，所述的参数服务器的工作流程具体如下：
a.设置最初的参数版本号θ2＝0；
b.接收工作节点发来的梯度v以及工作节点使用的参数版本号θ1；
c.更新参数版本号θ2＝θ2+1；
d.判断θ2<强制同步间隔T是否成立；若成立，则进行步骤e，否则进行步骤g；
e.计算梯度陈旧度为λ＝1/(θ2-θ1)；
f.利用梯度来更新参数w＝w+λ*υ，结束操作；
g.使用同步策略更新参数，得到所有工作节点的平均梯度a；
h.利用平均梯度来更新参数w＝w+a，结束操作。
优选的，所述的工作节点的工作流程如下：
(1)各工作节点读取一批数据；
(2)判断是否是第一次迭代；若是则进行步骤(3)，否则进行步骤(4)；
(3)初始化模型参数，并设置当前参数版本号为θ1＝0；
(4)从参数服务器拉取最新的参数，更新参数版本号θ1＝θ2；
(5)根据前向传播算出损失值Loss；
(6)根据后向传播计算梯度；
(7)将梯度和参数版本号θ1＝发送给参数服务器；
(8)根据参数服务器对收到的梯度进行参数更新；
(9)判断本地是否存在还未训练的数据分片；若是则进行步骤(1)，否则结束操作。
与现有技术相比，本发明的有益效果是：
1、技术手段：对现有单步的异步训练过程进行了改进，利用参数版本号作为梯度陈旧度；
优点：减弱现实集群中机器性能差异带来的梯度值过时的问题，使得模型收敛的性能大大增强；
2、技术手段：引入了强制同步机制，即同步和异步训练交替执行，同步间隔可自己定义；
优点：既能保留异步训练的并行模式带来的高数据吞吐量，使得工作节点能把更多的时间用于数据计算，而不是等待参数平均步骤的完成，又能通过间歇性同步使得整个模型的训练趋势朝更好的方向发展。
附图说明
图1是本发明一种分布式深度学习的参数更新优化系统的示意图图；
图2是本发明参数服务器流程示意图；
图3是本发明工作节点流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清除、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施说例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种分布式深度学习的参数更新优化系统，包括一个多个参数服务器节点和多个工作节点，其示意图如图1所示：包括以下步骤：
S1.每个工作节点读入本地的一批训练数据至内存；
S2.工作节点根据用户规定好的模型结构，随机初始化各层参数，并记录当前参数版本为θ1＝0，参数服务器设置参数版本号为θ2＝0。
S3.工作节点根据读入的样本数据及对应的期望输出，进行前向传播，最后得到模型的输出值；其中，各工作节点互不影响，独立计算。
S4.工作节点根据前向传播的模型输出与样本数据的期望输出的误差得到损失值Loss，根据损失值Loss进行反向传播，逐层计算参数梯度υ。
S5.工作节点将计算完的梯度以及当前使用的参数版本号发回至参数服务器，参数服务器每收到一个工作节点传来的梯度就将参数版本号加1，即θ2＝θ2+1；
S6.参数服务器对θ2进行判断，如果θ2等于T，表明全部工作节点已经执行T此迭代，则采用同步的聚合平均方式，等待所有工作节点完成自己本轮的迭代后，汇总平均梯度值，将平均梯度值与参数相加得到新的参数；如果θ2小于T，根据公式w＝w+λ*υ更新参数，其中λ为梯度陈旧度，λ＝1/(θ2-θ1)；
S7.工作节点从参数服务器上拉取新的参数以及版本号，将本地的参数版本号更新，即θ1＝θ2，继续读入下一批数据进行新一轮训练；
其中，
θ1：工作节点的参数版本号；
θ2：参数服务器的参数版本号；
υ：工作节点计算出的梯度；
w：模型参数；
λ:梯度陈旧度；
T：强制同步间隔。
在本实施例中，在参数更新部分对参数进行了版本控制，在参数服务器端和工作节点上都增加了参数的版本号，当前的工作节点拉取最新版本的参数进行训练跟梯度计算后，参数服务器会根据两个版本号的差值作为此工作节点此次迭代的梯度陈旧度λ，然后将梯度乘以λ对参数进行更新；进一步的设定一个强制同步的迭代次数T，每个工作节点在进行T次迭代后会强制同步一次，两种机制相结合来改善梯度陈旧导致的收敛性差的问题。
在本实施例中，参数服务器负责参数的存储和更新，共同维护全局共享的模型参数，可由用户设置为一个或多个。
在本实施例中，工作节点保留部分训练数据，并执行计算，设有多个。
在本实施例中，参数服务器的工作流程具体如下：
a.设置最初的参数版本号θ2＝0；
b.接收工作节点发来的梯度v以及工作节点使用的参数版本号θ1；
c.更新参数版本号θ2＝θ2+1；
d.判断θ2<强制同步间隔T是否成立；若成立，则进行步骤e，否则进行步骤g；
e.计算梯度陈旧度为λ＝1/(θ2-θ1)；
f.利用梯度来更新参数w＝w+λ*υ，结束操作；
g.使用同步策略更新参数，得到所有工作节点的平均梯度a；
h.利用平均梯度来更新参数w＝w+a，结束操作。
在本实施例中，工作节点的工作流程如下：
(1)各工作节点读取一批数据；
(2)判断是否是第一次迭代；若是则进行步骤(3)，否则进行步骤(4)；
(3)初始化模型参数，并设置当前参数版本号为θ1＝0；
(4)从参数服务器拉取最新的参数，更新参数版本号θ1＝θ2；
(5)根据前向传播算出损失值Loss；
(6)根据后向传播计算梯度；
(7)将梯度和参数版本号θ1＝发送给参数服务器；
(8)根据参数服务器对收到的梯度进行参数更新；
(9)判断本地是否存在还未训练的数据分片；若是则进行步骤(1)，否则结束操作。
在本实施例中，通过在参数服务器端存储最新的参数版本号，工作节点拉取参数训练的同时会记录下版本号，在异步通信发送梯度给参数服务器后，参数服务器能够根据版本号的差值计算此次迭代的梯度对当前训练影响的权重，从而让梯度下降往收敛更好的趋势前进；并且本方案在异步训练的同时加入了强制同步，要求工作节点在迭代一定次数后采用同步的并行模式，对梯度进行一次聚合平均，两种机制的协作来提高收敛的性能；
本方案能利用异步通信的并行模式来增加分布式训练的数据吞吐量，使得工作节点能把更多的时间用于数据计算，而不是等待参数平均步骤的完成，同时，能减弱现实集群中机器性能差异带来的梯度值过时的问题，使得模型收敛的性能大大增强。
在本实施例中，本方案改变了数据并行训练中，采用异步通信机制进行参数更新的方式；
1、为参数添加版本号，由参数版本号计算出工作节点对应的梯度陈旧度；由于参数服务器需要跟所有的工作节点实时交互，因此它存储的是最新的参数版本号，而工作节点存储此次迭代开始前从参数服务器端拉取的参数版本号，在他进行后向传播计算梯度的过程中，参数服务器上的参数可能已经被其余的工作节点的梯度进行了刷新。所以梯度陈旧度可以定义为两个参数版本之差，以它为基础对梯度进行加权处理；
2、在训练过程中引入了强制同步机制，即同步和异步训练交替执行。即使使用了加权的梯度进行参数更新，但是仍然是异步训练的模式，每一个工作节点的梯度直接对当前所有的工作节点产生影响，采用异步、同步交替运行的方式，既能发挥异步训练的计算效率，又能周期性的使用同步的梯度聚合平均方式来对整体的梯度下降趋势进行改善，因此能达到较好的效果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种分布式深度学习的参数更新优化系统，包括一个或多个参数服务器节点和多个工作节点，其特征在于：该系统的工作过程包括以下步骤：
S1：每个工作节点读入本地的一批训练数据至内存；
S2：工作节点根据用户规定好的模型结构，随机初始化各层参数，并记录当前参数版本为θ1＝0，参数服务器设置参数版本号为θ2＝0；
S3：工作节点根据读入的样本数据及对应的期望输出，进行前向传播，最后得到模型的输出值；其中，各工作节点互不影响，独立计算；
S4：工作节点根据前向传播的模型输出与样本数据的期望输出的误差得到损失值Loss，根据损失值Loss进行反向传播，逐层计算参数梯度υ；
S5：工作节点将计算完的梯度以及当前使用的参数版本号发回至参数服务器，参数服务器每收到一个工作节点传来的梯度就将参数版本号加1，即θ2＝θ2+1；
S6：参数服务器对θ2进行判断，如果θ2等于T，表明全部工作节点已经执行T此迭代，则采用同步的聚合平均方式，等待所有工作节点完成自己本轮的迭代后，汇总平均梯度值，将平均梯度值与参数相加得到新的参数；如果θ2小于T，根据公式w＝w+λ*υ更新参数，其中λ为梯度陈旧度，λ＝1/(θ2-θ1)；
S7：工作节点从参数服务器上拉取新的参数以及版本号，将本地的参数版本号更新，即θ1＝θ2，继续读入下一批数据进行新一轮训练；
其中，
θ1：工作节点的参数版本号；
θ2：参数服务器的参数版本号；
υ：工作节点计算出的梯度；
w：模型参数；
λ：梯度陈旧度；
T：强制同步间隔。
2.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的参数服务器负责参数的存储和更新，共同维护全局共享的模型参数，可由用户设置为一个或多个。
3.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的工作节点保留部分训练数据，并执行计算，设有多个。
4.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的参数服务器的工作流程具体如下：
a.设置最初的参数版本号θ2＝0；
b.接收工作节点发来的梯度v以及工作节点使用的参数版本号θ1；
c.更新参数版本号θ2＝θ2+1；
d.判断θ2<强制同步间隔T是否成立；若成立，则进行步骤e，否则进行步骤g；
e.计算梯度陈旧度为λ＝1/(θ2-θ1)；
f.利用梯度来更新参数w＝w+λ*υ，结束操作；
g.使用同步策略更新参数，得到所有工作节点的平均梯度a；
h.利用平均梯度来更新参数w＝w+a，结束操作。
5.根据权利要求1所述的分布式深度学习的参数更新优化系统，其特征在于：所述的工作节点的工作流程如下：
(1)各工作节点读取一批数据；
(2)判断是否是第一次迭代；若是则进行步骤(3)，否则进行步骤(4)；
(3)初始化模型参数，并设置当前参数版本号为θ1＝0；
(4)从参数服务器拉取最新的参数，更新参数版本号θ1＝θ2；
(5)根据前向传播算出损失值Loss；
(6)根据后向传播计算梯度；
(7)将梯度和参数版本号θ1＝发送给参数服务器；
(8)根据参数服务器对收到的梯度进行参数更新；
(9)判断本地是否存在还未训练的数据分片；若是则进行步骤(1)，否则结束操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810457650.7A CN108829441B (zh) | 2018-05-14 | 2018-05-14 | 一种分布式深度学习的参数更新优化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810457650.7A CN108829441B (zh) | 2018-05-14 | 2018-05-14 | 一种分布式深度学习的参数更新优化系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108829441A CN108829441A (zh) | 2018-11-16 |
| CN108829441B true CN108829441B (zh) | 2022-10-18 |
Family
ID=64148801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810457650.7A Active CN108829441B (zh) | 2018-05-14 | 2018-05-14 | 一种分布式深度学习的参数更新优化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108829441B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635922B (zh) * | 2018-11-20 | 2022-12-02 | 华中科技大学 | 一种分布式深度学习参数量化通信优化方法及系统 |
| CN109600255A (zh) * | 2018-12-04 | 2019-04-09 | 中山大学 | 一种去中心化的参数服务器优化算法 |
| CN109710289A (zh) * | 2018-12-21 | 2019-05-03 | 南京邮电大学 | 基于深度强化学习算法的分布式参数服务器的更新方法 |
| CN109951438B (zh) * | 2019-01-15 | 2020-11-20 | 中国科学院信息工程研究所 | 一种分布式深度学习的通信优化方法及系统 |
| EP3889846A4 (en) * | 2019-01-16 | 2022-06-01 | Huawei Cloud Computing Technologies Co., Ltd. | METHOD AND SYSTEM FOR TRAINING DEEP LEARNING MODELS |
| CN109871958B (zh) * | 2019-02-01 | 2023-07-28 | 东软医疗系统股份有限公司 | 训练模型的方法、装置及设备 |
| CN110084378B (zh) * | 2019-05-07 | 2023-04-21 | 南京大学 | 一种基于本地学习策略的分布式机器学习方法 |
| CN110084380A (zh) * | 2019-05-10 | 2019-08-02 | 深圳市网心科技有限公司 | 一种迭代训练方法、设备、系统及介质 |
| CN110245743A (zh) * | 2019-05-23 | 2019-09-17 | 中山大学 | 一种异步分布式深度学习训练方法、装置及系统 |
| CN111027671B (zh) * | 2019-11-12 | 2023-07-04 | 华中科技大学 | 一种基于模型结构特性的分布式深度学习通信方法和系统 |
| CN111105016B (zh) * | 2019-12-06 | 2023-04-28 | 浪潮电子信息产业股份有限公司 | 一种数据处理方法、装置、电子设备及可读存储介质 |
| CN111382844B (zh) * | 2020-03-11 | 2023-07-07 | 华南师范大学 | 一种深度学习模型的训练方法及装置 |
| CN111582494B (zh) * | 2020-04-17 | 2023-07-07 | 浙江大学 | 一种基于延迟处理的混合分布式机器学习更新方法 |
| CN111291869B (zh) * | 2020-05-09 | 2020-11-24 | 支付宝(杭州)信息技术有限公司 | 并行训练业务模型的方法及装置 |
| CN111814968B (zh) * | 2020-09-14 | 2021-01-12 | 北京达佳互联信息技术有限公司 | 用于机器学习模型的分布式训练的方法和装置 |
| CN112270403B (zh) * | 2020-11-10 | 2022-03-29 | 北京百度网讯科技有限公司 | 构建深度学习的网络模型的方法、装置、设备和存储介质 |
| CN112381218B (zh) * | 2020-11-20 | 2022-04-12 | 中国人民解放军国防科技大学 | 一种用于分布式深度学习训练的本地更新方法 |
| CN112488324B (zh) * | 2020-12-24 | 2024-03-22 | 南京大学 | 一种基于版本控制的分布式机器学习模型更新方法 |
| CN112633480B (zh) * | 2020-12-31 | 2024-01-23 | 中山大学 | 一种半异步并行神经网络的计算优化方法及系统 |
| CN113095407A (zh) * | 2021-04-12 | 2021-07-09 | 哈尔滨理工大学 | 一种降低通信次数的高效异步联邦学习方法 |
| CN113469341A (zh) * | 2021-07-07 | 2021-10-01 | 河海大学 | 一种基于版本差异的流水线并行训练节点权重分配方法 |
| CN116644803B (zh) * | 2023-07-27 | 2023-11-03 | 浪潮电子信息产业股份有限公司 | 分布式协同训练控制方法、系统、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529673A (zh) * | 2016-11-17 | 2017-03-22 | 北京百度网讯科技有限公司 | 基于人工智能的深度学习网络训练方法及装置 |
| CN106575377A (zh) * | 2014-05-12 | 2017-04-19 | 高通股份有限公司 | 共同特征上的分类器更新 |
| CN107018184A (zh) * | 2017-03-28 | 2017-08-04 | 华中科技大学 | 分布式深度神经网络集群分组同步优化方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104714852B (zh) * | 2015-03-17 | 2018-05-22 | 华中科技大学 | 一种适用于分布式机器学习的参数同步优化方法及其系统 |
| CN104915643B (zh) * | 2015-05-26 | 2018-06-22 | 中山大学 | 一种基于深度学习的行人再标识方法 |
| CN106815644B (zh) * | 2017-01-26 | 2019-05-03 | 北京航空航天大学 | 机器学习方法和系统 |
| CN107578094A (zh) * | 2017-10-25 | 2018-01-12 | 济南浪潮高新科技投资发展有限公司 | 基于参数服务器和fpga实现神经网络分布式训练的方法 |
| CN107832458B (zh) * | 2017-11-27 | 2021-08-10 | 中山大学 | 一种字符级的基于嵌套深度网络的文本分类方法 |
| CN107944566B (zh) * | 2017-11-28 | 2020-12-22 | 杭州云脑科技有限公司 | 一种机器学习方法、主节点、工作节点及系统 |
-
2018
- 2018-05-14 CN CN201810457650.7A patent/CN108829441B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106575377A (zh) * | 2014-05-12 | 2017-04-19 | 高通股份有限公司 | 共同特征上的分类器更新 |
| CN106529673A (zh) * | 2016-11-17 | 2017-03-22 | 北京百度网讯科技有限公司 | 基于人工智能的深度学习网络训练方法及装置 |
| CN107018184A (zh) * | 2017-03-28 | 2017-08-04 | 华中科技大学 | 分布式深度神经网络集群分组同步优化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108829441A (zh) | 2018-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829441B (zh) | 一种分布式深度学习的参数更新优化系统 | |
| CN114756383B (zh) | 一种分布式计算方法、系统、设备及存储介质 | |
| CN113515370B (zh) | 一种面向大规模深度神经网络的分布式训练方法 | |
| CN110533183A (zh) | 一种流水线分布式深度学习中异构网络感知的模型划分与任务放置方法 | |
| CN109754060A (zh) | 一种神经网络机器学习模型的训练方法及装置 | |
| CN111027708A (zh) | 一种面向分布式机器学习的参数通信优化方法 | |
| CN110942138B (zh) | 一种混合内存环境下深度神经网络的训练方法和系统 | |
| CN111079921A (zh) | 一种基于异构分布式系统的高效神经网络训练调度方法 | |
| CN109299781A (zh) | 基于动量和剪枝的分布式深度学习系统 | |
| CN103150578A (zh) | 一种基于半监督学习的支持向量机分类器训练方法 | |
| CN109635922B (zh) | 一种分布式深度学习参数量化通信优化方法及系统 | |
| CN108446770B (zh) | 一种基于采样的分布式机器学习慢节点处理系统及方法 | |
| CN115665174B (zh) | 一种梯度数据的同步方法、系统、设备及存储介质 | |
| CN111309976B (zh) | 一种面向收敛型图应用的GraphX数据缓存方法 | |
| CN108009642A (zh) | 分布式机器学习方法和系统 | |
| CN112862088A (zh) | 一种基于流水线环形参数通信的分布式深度学习方法 | |
| CN109710289A (zh) | 基于深度强化学习算法的分布式参数服务器的更新方法 | |
| CN111324630A (zh) | 基于mpi的神经网络架构搜索并行化方法和设备 | |
| CN114357676B (zh) | 一种针对层次化模型训练框架的聚合频率控制方法 | |
| CN112288083A (zh) | 一种神经网络分布式训练方法、装置、设备及存储介质 | |
| CN110929885A (zh) | 一种面向智慧校园的分布式机器学习模型参数聚合方法 | |
| CN115794447A (zh) | 一种用于多物理场耦合的网格数据传递方法 | |
| CN114970830A (zh) | 一种面向数据并行分布式深度学习训练加速的灵活通信方法 | |
| CN110110863A (zh) | 一种基于celery的分布式机器学习调参系统 | |
| CN115102867A (zh) | 结合深度强化学习的区块链分片系统性能优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |