CN114792125B - 基于分布式训练的数据处理方法、装置、电子设备和介质 - Google Patents

基于分布式训练的数据处理方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN114792125B
CN114792125B CN202210399055.9A CN202210399055A CN114792125B CN 114792125 B CN114792125 B CN 114792125B CN 202210399055 A CN202210399055 A CN 202210399055A CN 114792125 B CN114792125 B CN 114792125B
Authority
CN
China
Prior art keywords
data
network layer
data processing
node
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210399055.9A
Other languages
English (en)
Other versions
CN114792125A (zh
Inventor
吴华超
沈亮
巩伟宝
吴志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210399055.9A priority Critical patent/CN114792125B/zh
Publication of CN114792125A publication Critical patent/CN114792125A/zh
Application granted granted Critical
Publication of CN114792125B publication Critical patent/CN114792125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供了一种基于分布式训练的数据处理方法、装置、电子设备和介质，涉及计算机技术领域，尤其涉及深度学习、分布式训练及云服务技术领域。具体实现方案为：分别获取当前计算节点中至少两个网络层各自的待处理数据；控制所述网络层对各自的待处理数据进行处理，得到所述网络层各自的数据处理状态和各自的数据处理结果；在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果。本公开实现了减少计算节点输出数据处理结果所需时间的效果，提高了计算节点输出数据处理结果的效率。

Description

基于分布式训练的数据处理方法、装置、电子设备和介质
技术领域
本公开涉及计算机技术领域，尤其涉及深度学习、分布式训练及云服务技术领域，特别涉及一种基于分布式训练的数据处理方法、装置、电子设备和介质。
背景技术
在深度学习领域，在大规模模型训练问题上，通常使用分布式训练的方式来训练参数规模庞大的大模型。在分布式训练时，每个计算节点均会承担数据处理任务，且还要承担数据处理结果的数据传输任务。
如何统筹计算节点中的数据处理任务和数据传输任务，成为了一个亟需优化的问题。
发明内容
本公开提供了一种用于提高计算节点输出数据处理结果的效率的方法、装置、电子设备和介质。
根据本公开的一方面，提供了一种基于分布式训练的数据处理方法，包括：
分别获取当前计算节点中至少两个网络层各自的待处理数据；
控制所述网络层对各自的待处理数据进行处理，得到所述网络层各自的数据处理状态和各自的数据处理结果；
在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果。
根据本公开的另一方面，提供了一种基于分布式训练的数据处理装置，包括：
待处理数据获取模块，用于分别获取当前计算节点中至少两个网络层各自的待处理数据；
数据处理模块，用于控制所述网络层对各自的待处理数据进行处理，得到所述网络层各自的数据处理状态和各自的数据处理结果；
数据结果输出模块，用于在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行本公开中任一项所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1A是根据本公开实施例公开的一些现有技术中计算节点数据传输的示意图；
图1B是根据本公开实施例公开的一些基于分布式训练的数据处理方法的流程图；
图2是根据本公开实施例公开的另一些基于分布式训练的数据处理方法的流程图；
图3是根据本公开实施例公开的一些计算节点数据传输的示意图；
图4是根据本公开实施例公开的一些前向计算阶段数据处理的示意图；
图5是根据本公开实施例公开的一些基于分布式训练的数据处理装置的结构示意图；
图6是用来实现本公开实施例公开的基于分布式训练的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在分布式训练场景下，每个计算节点均包含若干网络层用于进行数据处理，并且计算节点还需要将各网络层的数据处理结果，传输至其他计算节点。目前的传输方式是，当计算节点中所有网络层均对各自的待处理数据完成处理后，计算节点再将所有的数据处理结果统一发送至其他计算节点。图1A是根据本公开实施例公开的一些现有技术中计算节点数据传输的示意图，如图1A所示，计算节点包括网络层A、网络层B、网络层C和网络层D，网络层A对待处理数据A0进行处理得到数据处理结果A1，网络层B对待处理数据B0进行处理得到数据处理结果B1，网络层C对待处理数据C0进行处理得到数据处理结果C1，网络层D对待处理数据D0进行处理得到数据处理结果D1，当网络层A、网络层B、网络层C和网络层D均完成数据处理后，计算节点统一的将数据处理结果A1、数据处理结果B1、数据处理结果C1和数据处理结果D1进行输出，传输给其他计算节点。
可见在现有技术中，计算节点的数据传输任务和数据处理任务是串行执行的，整体耗时是数据传输任务耗时和数据处理任务耗时之和，这无疑影响了分布式训练的整体进度。尤其在实际环境中，当模型规模增大时，各个计算节点上的网络层数量也会增多，从而使得数据吞吐量变大，若采用数据传输任务和数据处理任务串行执行的方式，会大大提升模型训练所需的时间，导致模型训练的效率很低。
图1B是根据本公开实施例公开的一些基于分布式训练的数据处理方法的流程图，本实施例可以适用于提高计算节点输出数据处理结果的效率的情况。本实施例方法可以由本公开实施例公开的基于分布式训练的数据处理装置来执行，所述装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。
如图1B所示，本实施例公开的基于分布式训练的数据处理方法可以包括：
S101、分别获取当前计算节点中至少两个网络层各自的待处理数据。
其中，计算节点表示在分布式训练中用于进行数据处理的设备，例如具有数据处理功能的芯片，比如GPU(Graphics Processing Unit，图形处理器)或CPU(CentralProcessing Unit，中央处理器)等。计算节点包括至少两个网络层，每个网络层用于对自身的待处理数据进行处理，得到自身的数据处理结果，其中网络层为一种模型层，例如FC(Fully Connected，全连接)层。待处理数据的类型根据分布式训练的训练阶段有关，在分布式训练处于前向计算阶段时，每个网络层的待处理数据为样本数据；在当前计算节点处于反向传播阶段时，每个网络层的待处理数据为计算误差(loss)。
当分布式训练处于前向计算阶段时，预先获取用于进行模型训练的样本数据集，并确定所有计算节点包含的网络层总数量，进而根据网络层总数量对样本数据集进行分类，使得样本数据的数据类型数量和网络层总数量一致。例如，假设网络层总数量为8，则将样本数据集分为8类。并且，为每一个网络层设定负责处理的唯一数据类型，例如，假设共有网络层A、网络层B、网络层C和网络层D，则将样本数据集分类为样本数据A、样本数据B、样本数据C和样本数据D，并且设定网络层A负责处理样本数据A，网络层B负责处理样本数据B，网络层C负责处理样本数据C，网络层D负责处理样本数据D。
为各计算节点随机分配数量相同的样本数据，即各计算节点作为分配样本数据的数据持有节点。各计算节点将自身持有的样本数据上传给数据分配节点，并向数据分配节点发送自身网络层负责处理的数据类型。数据分配节点根据各计算节点网络层负责处理的数据类型，为各计算节点分配与其网络层负责处理的数据类型相匹配的样本数据，作为计算节点的候选数据。计算节点中各网络层对候选数据进行计算，得到计算结果。
例如，计算节点1包含网络层A和网络层B，网络层A负责处理数据类型A，网络层B负责处理数据类型B。计算节点2包含网络C和网络层D，网络层C负责处理数据类型C，网络层D负责处理数据类型D。计算节点1分配的样本数据为A1、B1、C1和D1，计算节点1分配的样本数据为A2、B2、C2和D2。计算节点1将样本数据A1、B1、C1和D1发送至数据分配节点，计算节点2将样本数据A2、B2、C2和D2发送至数据分配节点。并且，计算节点1将负责处理的数据类型“数据类型A”和“数据类型B”发送至数据分配节点，计算节点2将负责处理的数据类型“数据类型C”和“数据类型D”发送至数据分配节点。数据分配节点向计算节点1分配样本数据A1、A2、B1和B2，作为计算节点1的候选数据。并且，数据分配节点向计算节点2分配样本数据C1、C2、D1和D2，作为计算节点2的候选数据。
当分布式训练处于反向传播阶段时，各计算节点将得到的计算结果发送至候选数据的数据持有节点，数据持有节点根据计算结果确定计算误差后，将计算误差反馈回计算节点，作为计算节点的候选数据。
在S101的一种实施方式中，当分布式训练处于前向计算阶段时，候选数据即为样本数据，当前计算节点根据自身各网络层负责处理的数据类型，以及各样本数据的数据类型，从分配的样本数据中确定自身各网络层对应的待处理数据。
在S101的另一种实施方式中，当分布式训练处于反向传播阶段时，候选数据即为计算误差，当前计算节点根据自身各网络层负责处理的数据类型，以及各计算误差对应的样本数据的数据类型，从分配的计算误差中确定自身各网络层对应的待处理数据。
S102、控制网络层对各自的待处理数据进行处理，得到网络层各自的数据处理状态和各自的数据处理结果。
其中，数据处理状态表示网络层对待处理数据的数据处理状态，包括“处理完成”和“处理未完成”两种状态。数据处理结果表示网络层对待处理数据进行处理得到的结果，当分布式训练处于前向计算阶段时，数据处理结果为计算结果；当分布式训练处于反向传播阶段时，数据处理结果为梯度结果。
在一种实施方式中，当前计算节点将待处理数据输入至对应的网络层，以使得网络层对待处理数据进行处理。当前计算节点实时监测各网络层的数据处理状态，当任一网络层自身的数据处理状态为“处理未完成”的情况下，表明该网络层还未完成对待处理数据的处理；当任一网络层自身的数据处理状态为“处理完成”的情况下，表明该网络层已经完成对待处理数据的处理，进而获取该网络层输出的数据处理结果。
可选的，当前计算节点控制网络层对待处理数据进行处理的方式，可以是串行控制，也可以是并行控制。串行控制表示按照各网络层的排列顺序，依次控制各网络层对各自的待处理数据进行处理。例如，当前计算节点包括网络层A、网络层B和网络层C，当前计算节点先控制网络层A对待处理数据A进行处理，当网络层A处理完成后，再控制网络层B对待处理数据B进行处理，当网络层B处理完成后，再控制网络层C对待处理数据C进行处理。并行控制表示同时控制各网络层对各自的待处理数据进行处理。可以想到的是，在当前计算节点算力充足的情况下，优先采用并行控制的方式；在当前计算节点算力不充足的情况下，优先采用串行控制的方式。
可选的，当分布式训练处于前向计算阶段时，待处理数据为样本数据，将样本数据输入至各网络层，以使得各网络层基于各自的模型权重对样本数据进行矩阵计算，得到计算结果。例如，任一网络层可选的通过如下公式对样本数据进行处理：
y＝ωx+b
其中，y表示数据处理结果，即计算结果；ω和b表示该网络层的模型权重；x表示样本数据。
可选的，当分布式训练处于反向传播阶段时，待处理数据为计算误差，将计算误差输入至各网络层，以使得各网络层基于梯度计算算法对计算误差进行计算，得到梯度结果。
S103、在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果。
在一种实施方式中，当分布式训练处于前向计算阶段时，数据处理结果的类型为计算结果。当前计算节点若监测到任一网络层的数据处理状态为处理完成，则将该网络层输出的计算结果发送至目标节点，其中，目标节点为该网络层自身的待处理数据所属的数据持有节点。目标节点根据计算结果以及预先确定的标准结果确定计算误差，并将计算误差反馈至当前计算节点，以使得当前计算节点根据计算误差进行反向传播。
在另一种实施方式中，当分布式训练处于反向传播阶段时，数据处理结果的类型为梯度结果。当前计算节点若监测到任一网络层的数据处理状态为处理完成，则将该网络层输出的梯度结果发送至目标节点，其中，目标节点为该网络层自身的待处理数据所属的数据持有节点。目标节点将梯度结果发送至主控节点，以使得主控节点根据梯度结果对该网络层的模型权重进行更新。
本公开通过分别获取当前计算节点中至少两个网络层各自的待处理数据，并控制网络层对各自的待处理数据进行处理，得到网络层各自的数据处理状态和各自的数据处理结果，进而在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果，由于只要任一网络层完成数据处理任务后，则触发对该网络层的数据传输任务，无需等待所有网络层均完成数据处理任务后再统一执行数据传输任务，使得计算节点的数据传输任务和数据处理任务重叠并行执行，实现了减少计算节点输出数据处理结果所需时间的效果，提高了计算节点输出数据处理结果的效率，从而提升分布式训练的整体训练性能，加快分布式训练的收敛，节约时间和成本。
图2是根据本公开实施例公开的另一些基于分布式训练的数据处理方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。
如图2所示，本实施例公开的基于分布式训练的数据处理方法可以包括：
S201、获取为当前计算节点分配的至少两条候选数据，并确定各候选数据的候选数据类型。
在一种实施方式中，当分布式训练处于前向计算阶段时，数据分配节点向当前计算节点分配至少两条候选数据，其中，候选数据的类型为样本数据。当前计算节点获取候选数据，并根据各候选数据的标签信息，确定各候选数据对应的候选数据类型。
在另一种实施方式中，当分布式训练处于反向传播阶段时，当前计算节点获取由目标节点反馈的至少两条候选数据，其中，候选数据的类型为计算误差。进而将计算误差对应样本数据的数据类型，作为各计算误差的候选数据类型。例如，计算误差X是根据计算值A计算得到，而计算值A通过网络层A对样本数据A处理得到，则将样本数据A的数据类型，作为计算误差X的候选数据类型。
可选的，S201中“获取为当前计算节点分配的至少两条候选数据”，包括：
根据当前计算节点中至少两个网络层负责处理的数据类型，生成数据获取请求，并将数据获取请求发送至数据分配节点，使得数据分配节点根据数据类型为当前计算节点分配候选数据。
其中，数据分配节点中预先采集有各计算节点持有的样本数据。
在一种实施方式中，当分布式训练处于前向计算阶段时，当前计算节点根据各网络层负责处理的数据类型，生成数据获取请求，并将数据获取请求发送至数据分配节点，使得数据分配节点向当前计算节点分配，与各网络层负责处理的数据类型对应的样本数据，作为候选数据。
例如，当前计算节点包含网络层A和网络层B，网络层A负责处理数据类型A，网络层B负责处理数据类型B，当前计算节点根据“数据类型A”和“数据类型B”生成数据获取请求，并将数据获取请求发送至数据分配节点。数据分配节点则将属于“数据类型A”和“数据类型B”的样本数据分配给当前节点，作为当前节点的候选数据。
通过根据当前计算节点中至少两个网络层负责处理的数据类型，生成数据获取请求，并将数据获取请求发送至数据分配节点，使得数据分配节点根据数据类型为当前计算节点分配候选数据，保证候选数据的数据类型能够匹配各网络层负责处理的数据类型，使得后续网络层的数据处理能够顺利的进行。
S202、确定任一网络层负责处理的目标数据类型，并将目标数据类型与各候选数据的候选数据类型进行匹配。
在一种实施方式中，当前计算节点将各网络层负责处理的目标数据类型，与各候选数据的候选数据类型进行匹配，若目标数据类型与任一候选数据类型一致，则表示匹配成功，若目标数据类型与任一候选数据类型不同，则表示匹配失败。
示例性的，假设网络层A负责处理的目标数据类型为“数据类型A”，候选数据包括候选数据A1、候选数据B1和候选数据C1，候选数据A1的候选数据类型为“数据类型A”，候选数据B1的候选数据类型为“数据类型B”，候选数据C1的候选数据类型为“数据类型C”，则将目标数据类型与候选数据类型进行匹配，确定与目标数据类型“数据类型A”相匹配为候选数据A1的候选数据类型“数据类型A”。
S203、根据匹配结果从候选数据中确定该网络层自身的待处理数据。
在一种实施方式中，根据与目标数据类型相匹配的候选数据类型所属的候选数据，确定该网络层自身的待处理数据。
通过获取为当前计算节点分配的至少两条候选数据，并确定各候选数据的候选数据类型，确定任一网络层负责处理的目标数据类型，并将目标数据类型与各候选数据的候选数据类型进行匹配，根据匹配结果从候选数据中确定该网络层自身的待处理数据，实现了为网络层确定与目标数据类型匹配的待处理数据的效果，保证网络层能够准确的对待处理数据进行处理。
可选的，S203包括：
确定与目标数据类型相匹配的候选数据类型，并将候选数据类型关联的候选数据作为该网络层自身的待处理数据。
示例性的，假设网络层A负责处理的目标数据类型为“数据类型A”，候选数据包括候选数据A1、候选数据B1和候选数据C1，候选数据A1的候选数据类型为“数据类型A”，候选数据B1的候选数据类型为“数据类型B”，候选数据C1的候选数据类型为“数据类型C”，则将候选数据A1作为网络层A的待处理数据。
通过确定与目标数据类型相匹配的候选数据类型，并将候选数据类型关联的候选数据作为该网络层自身的待处理数据，从而保证了待处理数据的数据类型和网络层负责处理的数据类型之间的统一，提高了网络层进行数据处理的可靠性和准确性。
S204、控制网络层对各自的待处理数据进行处理，得到网络层各自的数据处理状态和各自的数据处理结果。
S205、在任一网络层自身的数据处理状态为处理完成的情况下，确定该网络层自身的待处理数据所属的数据持有节点，并将数据处理结果发送至数据持有节点，使得数据持有节点根据数据处理结果继续进行处理。
其中，当分布式训练处于前向计算阶段时，待处理数据的类型为样本数据，则数据持有节点表示样本数据所属的数据持有节点。当分布式训练处于反向传播阶段时，待处理数据的类型为计算误差，则待处理数据所属的数据持有节点，表示计算误差对应样本数据所属的数据持有节点。例如，计算误差X是根据计算值A计算得到，而计算值A通过网络层A对样本数据A处理得到，样本数据A所属的数据持有节点为节点1，则将节点1作为计算误差X的数据持有节点。
在一种实施方式中，当前计算节点若监测到任一网络层自身的数据处理状态为处理完成，则确定该网络层自身的待处理数据所属的数据持有节点，并将数据处理结果输入至数据传输队列中，以通过数据传输队列将数据处理结果发送至数据持有节点。数据持有节点获取到数据处理结果后，对数据处理结果继续进行处理。
可选的，当分布式训练处于前向计算阶段时，当前计算节点将计算结果输入至数据传输队列中，以通过数据传输队列将数据处理结果发送至数据持有节点。数据持有节点获取到计算结果后，根据计算结果以及预先确定的标准结果确定计算误差，并将计算误差反馈至当前计算节点，以使得当前计算节点根据计算误差进行反向传播。
可选的，当分布式训练处于反向传播阶段时，当前计算节点将梯度结果输入至数据传输队列中，以通过数据传输队列将梯度结果发送至数据持有节点。数据持有节点将梯度结果发送至主控节点，以使得主控节点根据梯度结果对该网络层的模型权重进行更新。
通过确定该网络层自身的待处理数据所属的数据持有节点，并将数据处理结果发送至数据持有节点，使得数据持有节点根据数据处理结果继续进行处理，实现了通过多节点进行分布式训练的效果，提高了训练的效率。
可选的，S205中“将数据处理结果发送至数据持有节点”，包括：
将数据处理结果输入至数据传输队列中，并根据数据处理结果位于数据传输队列中的位置，控制数据处理结果发送至数据持有节点。
在一种实施方式中，当前计算节点将数据处理结果输入至数据传输队列中，并确定数据处理结果位于数据传输队列中的位置。进而确定该位置是否属于预设的传输位置，若是则将数据处理结果发送至数据持有节点，若否进入等待发送状态。例如，假设预设传输位置为“第一位”和“第二位”，则当数据处理结果位于数据传输队列中的位置为“第一位”或“第二位”时，将数据处理结果发送至数据持有节点，否则进入等待发送状态。
通过将数据处理结果输入至数据传输队列中，并根据数据处理结果位于数据传输队列中的位置，控制数据处理结果发送至数据持有节点，实现了基于队列的方式控制数据处理结果的传输，提高了数据传输的有序性，避免了抢占传输资源的问题。
可选的，根据数据处理结果位于数据传输队列中的位置，控制数据处理结果发送至数据持有节点，包括：
在数据处理结果位于数据传输队列的队首时，将数据处理结果发送至数据持有节点。
在一种实施方式中，当前计算节点将数据处理结果输入至数据传输队列中，并确定数据处理结果位于数据传输队列中的位置，在数据处理结果位于数据传输队列的队首时，将数据处理结果发送至数据持有节点。
通过在数据处理结果位于数据传输队列的队首时，将数据处理结果发送至数据持有节点，实现了对数据传输队列中的数据处理结果进行串行发送的效果，使得每个数据处理结果发送时能够独占传输资源，保证了数据处理结果能够顺利发送至数据持有节点，避免数据处理结果因为抢占传输资源出现漏发的问题，提高了数据传输时的稳定性和可靠性。
在上述实施例的基础上，本公开实施例还提供了分布式训练中，前向计算阶段和反向传播阶段数据处理的可执行方式：
一、前向计算阶段
1、当前计算节点将自身持有的样本数据上传给数据分配节点，并向数据分配节点发送自身网络层负责处理的数据类型。
2、数据分配节点向当前计算节点分配，与各网络层负责处理的数据类型对应的样本数据，作为候选数据。
3、当前计算节点根据自身各网络层负责处理的数据类型，以及各样本数据的数据类型，从分配的样本数据中确定自身各网络层对应的待处理数据。
4、将样本数据输入至各网络层，以使得各网络层基于各自的模型权重对样本数据进行矩阵计算，得到计算结果。
5、当前计算节点若监测到任一网络层的数据处理状态为处理完成，则将该网络层输出的计算结果发送至目标节点，其中，目标节点为该网络层自身的待处理数据所属的数据持有节点。目标节点根据计算结果以及预先确定的标准结果确定计算误差，并将计算误差反馈至当前计算节点，以使得当前计算节点根据计算误差进行反向传播。
二、反向传播阶段
1、当前计算节点获取由目标节点反馈的至少两条候选数据，其中，候选数据的类型为计算误差。
2、当前计算节点根据自身各网络层负责处理的数据类型，以及各计算误差对应的样本数据的数据类型，从分配的计算误差中确定自身各网络层对应的待处理数据。
3、将计算误差输入至各网络层，以使得各网络层基于梯度计算算法对计算误差进行计算，得到梯度结果。
4、当前计算节点若监测到任一网络层的数据处理状态为处理完成，则将该网络层输出的梯度结果发送至目标节点，其中，目标节点为该网络层自身的待处理数据所属的数据持有节点。目标节点将梯度结果发送至主控节点，以使得主控节点根据梯度结果对该网络层的模型权重进行更新。
图3是根据本公开实施例公开的一些计算节点数据传输的示意图，如图3所示，计算节点包括网络层A、网络层B、网络层C和网络层D，待处理数据包括A0、B0、C0和D0，当计算节点监测到网络层A的数据处理状态为处理完成，则将网络层A输出的数据处理结果A1进行输出。
图4是根据本公开实施例公开的一些前向计算阶段数据处理的示意图，如图4所示，计算节点40持有的样本数据41包括A0、B0、C0、D0、E0和F0，计算节点42持有的样本数据43包括A1、B1、C1、D1、E1和F1。计算节点40包括网络层A、网络层B和网络层C，分别负责处理数据类型A、数据类型B和数据类型C。计算节点42包括网络层D、网络层E和网络层F，分别负责处理数据类型D、数据类型E和数据类型F。
计算节点40将样本数据41发送给数据分配节点44。并且，将负责处理的数据类型“数据类型A、数据类型B和数据类型C”发送给数据分配节点44。计算节点42将样本数据43发送给数据分配节点44。并且，将负责处理的数据类型“数据类型D、数据类型E和数据类型F”发送给数据分配节点44。
数据分配节点44为计算节点40分配的候选数据45包括A0、B0、C0、A1、B1和C1。其中，A0和A1为网络层A的待处理数据，B0和B1为网络层B的待处理数据，C0和C1为网络层C的待处理数据。数据分配节点44为计算节点42分配的候选数据46包括D0、E0、F0、D1、E1和F1。其中，D0和D1为网络层D的待处理数据，E0和E1为网络层E的待处理数据，F0和F1为网络层F的待处理数据。
计算节点40和计算节点42的数据处理采用串行控制，数据传输采用串行控制，而数据处理和数据传输两者之间是并行控制的。
在计算节点40中，网络层A首先对A0和A1进行处理，分别得到计算结果res_A0和res_A1，计算节点40将res_A0和res_A1放入数据通信队列47进行传输后，网络层B对B0和B1进行处理，分别得到计算结果res_B0和res_B1，计算节点40将res_B0和res_B1放入数据通信队列47进行传输后，网络层C对C0和C1进行处理，分别得到计算结果res_C0和res_C1，计算节点40最终将res_C0和res_C1放入数据通信队列47进行传输。
在数据处理进行的同时，数据通信队列47中并行执行数据传输。由于A0的数据持有方为计算节点40，A1的数据持有方为计算节点42，B0的数据持有方为计算节点40，B1的数据持有方为计算节点42，C0的数据持有方为计算节点40，C1的数据持有方为计算节点42。则计算节点40首先将res_A0发送给计算节点40，res_A1发送给计算节点42，传输完成后，再将res_B0发送给计算节点40，res_B1发送给计算节点42，传输完成后，再将res_C0发送给计算节点40，res_C1发送给计算节点42。
在计算节点42中，网络层D首先对D0和D1进行处理，分别得到计算结果res_D0和res_D1，计算节点42将res_D0和res_D1放入数据通信队列48进行传输后，网络层E对E0和E1进行处理，分别得到计算结果res_E0和res_E1，计算节点42将res_E0和res_E1放入数据通信队列48进行传输后，网络层F对F0和F1进行处理，分别得到计算结果res_F0和res_F1，计算节点42最终将res_F0和res_F1放入数据通信队列48进行传输。
在数据处理进行的同时，数据通信队列48中并行执行数据传输。由于D0的数据持有方为计算节点40，D1的数据持有方为计算节点42，E0的数据持有方为计算节点40，E1的数据持有方为计算节点42，F0的数据持有方为计算节点40，F1的数据持有方为计算节点42。则计算节点42首先将res_D0发送给计算节点40，res_D1发送给计算节点42，传输完成后，再将res_E0发送给计算节点40，res_E1发送给计算节点42，传输完成后，再将res_F0发送给计算节点40，res_F1发送给计算节点42。
图5是根据本公开实施例公开的一些基于分布式训练的数据处理装置的结构示意图，可以适用于提高计算节点输出数据处理结果的效率的情况。本实施例装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。
如图5所示，本实施例公开的基于分布式训练的数据处理装置50可以包括待处理数据获取模块51、数据处理模块52和数据结果输出模块53，其中：
待处理数据获取模块51，用于分别获取当前计算节点中至少两个网络层各自的待处理数据；
数据处理模块52，用于控制网络层对各自的待处理数据进行处理，得到网络层各自的数据处理状态和各自的数据处理结果；
数据结果输出模块53，用于在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果。
可选的，待处理数据获取模块51，具体用于：
获取为当前计算节点分配的至少两条候选数据，并确定各候选数据的候选数据类型；
确定任一网络层负责处理的目标数据类型，并将目标数据类型与各候选数据的候选数据类型进行匹配；
根据匹配结果从候选数据中确定该网络层自身的待处理数据。
可选的，待处理数据获取模块51，具体还用于：
确定与目标数据类型相匹配的候选数据类型，并将候选数据类型关联的候选数据作为该网络层自身的待处理数据。
可选的，待处理数据获取模块51，具体还用于：
根据当前计算节点中网络层负责处理的数据类型，生成数据获取请求，并将数据获取请求发送至数据分配节点，使得数据分配节点根据数据类型为当前计算节点分配候选数据。
可选的，数据结果输出模块53，具体用于：
确定该网络层自身的待处理数据所属的数据持有节点，并将数据处理结果发送至数据持有节点，使得数据持有节点根据数据处理结果继续进行处理。
可选的，数据结果输出模块53，具体还用于：
将数据处理结果输入至数据传输队列中，并根据数据处理结果位于数据传输队列中的位置，控制数据处理结果发送至数据持有节点。
可选的，数据结果输出模块53，具体还用于：
在数据处理结果位于数据传输队列的队首时，将数据处理结果发送至数据持有节点。
本公开实施例所公开的基于分布式训练的数据处理装置50可执行本公开实施例所公开的基于分布式训练的数据处理方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开方法实施例中的描述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如基于分布式训练的数据处理方法。例如，在一些实施例中，基于分布式训练的数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的基于分布式训练的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于分布式训练的数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种基于分布式训练的数据处理方法，包括：
获取为当前计算节点分配的至少两条候选数据，并确定各所述候选数据的候选数据类型；
确定任一网络层负责处理的目标数据类型，并将所述目标数据类型与各所述候选数据的候选数据类型进行匹配；
根据匹配结果从所述候选数据中确定该网络层自身的待处理数据；
控制所述网络层对各自的待处理数据进行处理，得到所述网络层各自的数据处理状态和各自的数据处理结果；
在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果；
其中，当分布式训练处于前向计算阶段时，所述待处理数据为样本数据，所述数据处理结果为计算结果；当分布式训练处于反向传播阶段时，所述待处理数据为计算误差，所述数据处理结果为梯度结果；
所述获取为所述当前计算节点分配的至少两条候选数据，包括：
根据所述当前计算节点中至少两个网络层负责处理的数据类型，生成数据获取请求，并将所述数据获取请求发送至数据分配节点，使得所述数据分配节点根据所述数据类型为所述当前计算节点分配候选数据。
2.根据权利要求1所述的方法，其中，所述根据匹配结果从所述候选数据中确定该网络层自身的待处理数据，包括：
确定与所述目标数据类型相匹配的候选数据类型，并将所述候选数据类型关联的候选数据作为该网络层自身的待处理数据。
3.根据权利要求1所述的方法，其中，所述从当前计算节点中输出该网络层自身的数据处理结果，包括：
确定该网络层自身的待处理数据所属的数据持有节点，并将所述数据处理结果发送至所述数据持有节点，使得所述数据持有节点根据所述数据处理结果继续进行处理。
4.根据权利要求3所述的方法，其中，所述将所述数据处理结果发送至所述数据持有节点，包括：
将所述数据处理结果输入至数据传输队列中，并根据所述数据处理结果位于所述数据传输队列中的位置，控制所述数据处理结果发送至所述数据持有节点。
5.根据权利要求4所述的方法，其中，所述根据所述数据处理结果位于所述数据传输队列中的位置，控制所述数据处理结果发送至所述数据持有节点，包括：
在所述数据处理结果位于所述数据传输队列的队首时，将所述数据处理结果发送至所述数据持有节点。
6.一种基于分布式训练的数据处理装置，包括：
待处理数据获取模块，具体用于：
获取为当前计算节点分配的至少两条候选数据，并确定各所述候选数据的候选数据类型；
确定任一网络层负责处理的目标数据类型，并将所述目标数据类型与各所述候选数据的候选数据类型进行匹配；
根据匹配结果从所述候选数据中确定该网络层自身的待处理数据；
数据处理模块，用于控制所述网络层对各自的待处理数据进行处理，得到所述网络层各自的数据处理状态和各自的数据处理结果；
数据结果输出模块，用于在任一网络层自身的数据处理状态为处理完成的情况下，从当前计算节点中输出该网络层自身的数据处理结果；
其中，当分布式训练处于前向计算阶段时，所述待处理数据为样本数据，所述数据处理结果为计算结果；当分布式训练处于反向传播阶段时，所述待处理数据为计算误差，所述数据处理结果为梯度结果；
所述待处理数据获取模块，具体还用于：
根据所述当前计算节点中所述网络层负责处理的数据类型，生成数据获取请求，并将所述数据获取请求发送至数据分配节点，使得所述数据分配节点根据所述数据类型为所述当前计算节点分配候选数据。
7.根据权利要求6所述的装置，其中，所述待处理数据获取模块，具体还用于：
确定与所述目标数据类型相匹配的候选数据类型，并将所述候选数据类型关联的候选数据作为该网络层自身的待处理数据。
8.根据权利要求6所述的装置，其中，所述数据结果输出模块，具体用于：
确定该网络层自身的待处理数据所属的数据持有节点，并将所述数据处理结果发送至所述数据持有节点，使得所述数据持有节点根据所述数据处理结果继续进行处理。
9.根据权利要求8所述的装置，其中，所述数据结果输出模块，具体还用于：
将所述数据处理结果输入至数据传输队列中，并根据所述数据处理结果位于所述数据传输队列中的位置，控制所述数据处理结果发送至所述数据持有节点。
10.根据权利要求9所述的装置，其中，所述数据结果输出模块，具体还用于：
在所述数据处理结果位于所述数据传输队列的队首时，将所述数据处理结果发送至所述数据持有节点。
11. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
CN202210399055.9A 2022-04-15 2022-04-15 基于分布式训练的数据处理方法、装置、电子设备和介质 Active CN114792125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210399055.9A CN114792125B (zh) 2022-04-15 2022-04-15 基于分布式训练的数据处理方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210399055.9A CN114792125B (zh) 2022-04-15 2022-04-15 基于分布式训练的数据处理方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN114792125A CN114792125A (zh) 2022-07-26
CN114792125B true CN114792125B (zh) 2023-06-23

Family

ID=82461566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210399055.9A Active CN114792125B (zh) 2022-04-15 2022-04-15 基于分布式训练的数据处理方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN114792125B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953771A (zh) * 2023-01-03 2023-04-11 北京百度网讯科技有限公司 文本图像处理方法、装置、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846095A (zh) * 2018-06-15 2018-11-20 联想(北京)有限公司 一种数据处理方法及装置
WO2022013264A1 (en) * 2020-07-16 2022-01-20 Koninklijke Philips N.V. Selecting a training dataset with which to train a model

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941528B2 (en) * 2019-09-30 2024-03-26 Amazon Technologies, Inc. Neural network training in a distributed system
US11468325B2 (en) * 2020-03-30 2022-10-11 Amazon Technologies, Inc. Multi-model training pipeline in distributed systems
CN111723933B (zh) * 2020-06-03 2024-04-16 上海商汤智能科技有限公司 神经网络模型的训练方法和相关产品
CN111753997B (zh) * 2020-06-28 2021-08-27 北京百度网讯科技有限公司 分布式训练方法、系统、设备及存储介质
CN112559007B (zh) * 2020-12-14 2022-09-23 北京百度网讯科技有限公司 多任务模型的参数更新方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846095A (zh) * 2018-06-15 2018-11-20 联想(北京)有限公司 一种数据处理方法及装置
WO2022013264A1 (en) * 2020-07-16 2022-01-20 Koninklijke Philips N.V. Selecting a training dataset with which to train a model

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
When Edge Meets Learning:Adaptive control for Resource-Constrained Distributed Machine Learning;Shiqiang Wang等;《IEEE INFOCOM 2018-IEEE Conference on Computer Communications》;第1-9页 *

Also Published As

Publication number Publication date
CN114792125A (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN112597754B (zh) 文本纠错方法、装置、电子设备和可读存储介质
CN113342345A (zh) 深度学习框架的算子融合方法、装置
CN113361721B (zh) 模型训练方法、装置、电子设备、存储介质及程序产品
CN114298322B (zh) 联邦学习方法和装置、系统、电子设备、计算机可读介质
EP4113299A2 (en) Task processing method and device, and electronic device
CN114792125B (zh) 基于分布式训练的数据处理方法、装置、电子设备和介质
CN117093628A (zh) 向量检索方法、装置、设备和存储介质
CN116301916A (zh) 服务部署方法、装置、电子设备及存储介质
CN115481594B (zh) 计分板实现方法、计分板、电子设备及存储介质
CN114327819B (zh) 一种任务管理方法、装置、设备及存储介质
CN115890684A (zh) 一种机器人调度方法、装置、设备及介质
CN113408304B (zh) 文本翻译方法、装置、电子设备及存储介质
CN114416357A (zh) 容器组的创建方法、装置、电子设备和介质
CN114386577A (zh) 用于执行深度学习模型的方法、设备和存储介质
CN114139605A (zh) 分布式的模型训练方法、系统、设备以及存储介质
CN115600687B (zh) 模型训练方法、装置、设备以及存储介质
CN115759260B (zh) 深度学习模型的推理方法、装置、电子设备和存储介质
CN114615144B (zh) 网络优化方法及系统
CN115526453B (zh) 车辆调度方法、装置、设备及存储介质
CN116541224A (zh) 性能测试方法、装置、电子设备与可读存储介质
CN115640112A (zh) 一种基于标签的资源调度方法、装置、设备及介质
CN117742711A (zh) 面向低代码的页面渲染方法、装置、电子设备和存储介质
CN118193217A (zh) 任务处理方法、电子设备和存储介质
CN117093266A (zh) 指令处理装置、方法、电子设备和存储介质
CN114429211A (zh) 用于生成信息的方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant