CN105575389A - 模型训练方法、系统和装置 - Google Patents
模型训练方法、系统和装置 Download PDFInfo
- Publication number
- CN105575389A CN105575389A CN201510888241.9A CN201510888241A CN105575389A CN 105575389 A CN105575389 A CN 105575389A CN 201510888241 A CN201510888241 A CN 201510888241A CN 105575389 A CN105575389 A CN 105575389A
- Authority
- CN
- China
- Prior art keywords
- model
- service node
- model parameter
- node
- safeguarded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 258
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Stored Programmes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种模型训练方法、系统和装置，该模型训练方法包括：接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数；根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数。本发明可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
Description
技术领域
本发明涉及语音识别技术领域，尤其涉及一种模型训练方法、系统和装置。
背景技术
深度神经网络的训练算法的核心是矩阵运算，所以非常适合采用通用图形图像处理器(GeneralPurposeGraphicsProcessingUnit；以下简称：GPGPU)来进行加速，相比中央处理器(CentralProcessingUnit；以下简称：CPU)系统可以获得几十倍的速度提升。当前深度神经网络参数数以百万计，训练数据达数万小时，模型训练需要数十甚至上百台图形处理器(GraphicsProcessingUnit；以下简称：GPU)服务器并行进行。计算需求对系统的可扩展性提出了更高要求，通信延迟将直接制约系统的可扩展性，甚至影响训练模型的有效性。
现有神经网络的训练系统中，大多采用基于传输控制协议(TransmissionControlProtocol；以下简称：TCP)的通信协议，其通信延迟大，带宽利用率低，难以满足深度学习的训练需求，模型训练的效率较低，并且无法解决海量规模(如上万小时)的语音数据训练深层模型的问题。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种模型训练方法。该方法可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
本发明的第二个目的在于提出一种模型训练系统。
本发明的第三个目的在于提出一种模型训练装置。
为了实现上述目的，本发明第一方面实施例的模型训练方法，包括：接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数；根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数，以供所述服务节点对所述服务节点维护的模型参数进行更新。
本发明实施例的模型训练方法中，计算节点接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系之后，根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数，然后根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新，上述管理节点、计算节点和服务节点之间的通信通过信息传递接口(MessagePassingInterface；以下简称：MPI)完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
为了实现上述目的，本发明第二方面实施例的模型训练方法，包括：接收服务节点维护的模型参数，所述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给所述服务节点的；接收计算节点发送的更新后的模型参数，所述更新后的模型参数是所述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向所述服务节点发送的；根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
本发明实施例的模型训练方法中，服务节点接收上述服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的，并接收计算节点发送的更新后的模型参数，然后根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
为了实现上述目的，本发明第三方面实施例的模型训练系统，包括：管理节点、计算节点和服务节点；所述管理节点，用于向所述计算节点发送训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；以及对所述初始模型的模型参数进行划分后，将划分后的模型参数发送给所述服务节点；所述计算节点，用于接收所述管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数；以及根据所述对应关系向所述服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数；所述服务节点，用于接收所述服务节点维护的模型参数；以及接收所述计算节点发送的更新后的模型参数，根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
本发明实施例的模型训练系统中，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
为了实现上述目的，本发明第四方面实施例的模型训练装置，包括：接收模块，用于接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；获得模块，用于根据所述训练数据的描述信息获得训练数据；训练模块，用于根据所述获得模块获得的训练数据和所述接收模块接收的初始模型的模型参数进行模型训练，获得更新后的模型参数；发送模块，用于根据所述接收模块接收的对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数，以供所述服务节点对所述服务节点维护的模型参数进行更新。
上述模型训练装置中，接收模块接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系之后，获得模块根据上述训练数据的描述信息获得训练数据，训练模块根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数，然后发送模块根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
为了实现上述目的，本发明第五方面实施例的模型训练装置，包括：接收模块，用于接收服务节点维护的模型参数，所述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给所述服务节点的；以及接收计算节点发送的更新后的模型参数，所述更新后的模型参数是所述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向所述服务节点发送的；更新模块，用于根据所述接收模块接收的更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
上述模型训练装置中，接收模块接收上述服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的，并接收计算节点发送的更新后的模型参数，然后更新模块根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
本发明提出一种模型训练方法、系统和装置，该模型训练方法包括：接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数；根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数。本发明可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
图1为本发明模型训练方法一个实施例的流程图；
图2为本发明模型训练方法另一个实施例的流程图；
图3为本发明模型训练方法再一个实施例的流程图；
图4为本发明模型训练方法再一个实施例的流程图；
图5为本发明模型训练方法再一个实施例的流程图；
图6为本发明模型训练系统一个实施例的结构示意图；
图7为本发明模型训练系统中服务节点的任务流程一个实施例的示意图；
图8为本发明模型训练系统中管理节点、计算节点和服务节点之间的交互示意图；
图9为本发明模型训练装置一个实施例的结构示意图；
图10为本发明模型训练装置另一个实施例的结构示意图；
图11为本发明模型训练装置再一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1为本发明模型训练方法一个实施例的流程图，如图1所示，上述模型训练方法可以包括：
步骤101，接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系。
其中，上述管理节点发送的训练数据的描述信息是上述管理节点为计算节点划分的训练数据的描述信息。
步骤102，根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数。
其中，上述训练数据的描述信息可以包括上述训练数据是训练数据列表中哪部分的训练数据，以及上述训练数据的存储地址等信息，本实施例对上述训练数据的描述信息所包括的内容不作限定。
这样，计算节点接收管理节点发送的训练数据的描述信息之后，就可以根据上述训练数据的描述信息获得训练数据。
步骤103，根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新。
具体地，根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数可以为：根据上述对应关系，定时或周期性地向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数。
本实施例中，计算节点在步骤102获得的更新后的模型参数是上述计算节点进行训练获得的模型所包含的全部参数，而每个服务节点维护的只是上述模型的部分参数，所以计算节点需要根据管理节点划分的服务节点与服务节点维护的模型参数的对应关系，向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对自身维护的模型参数进行更新。
图2为本发明模型训练方法另一个实施例的流程图，如图2所示，步骤103之后，还可以包括：
步骤201，接收上述服务节点发送的更新后的模型，上述更新后的模型是上述服务节点对上述服务节点维护的模型参数进行更新后获得的。
步骤202，根据上述更新后的模型和上述训练数据继续进行模型训练。
也就是说，本实施例中，服务节点在对上述服务节点维护的模型参数进行更新后，会将更新后的模型发送回计算节点，然后计算节点可以根据上述更新后的模型和上述训练数据继续进行模型训练。
上述模型训练方法中，计算节点接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系之后，根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数，然后根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
图3为本发明模型训练方法再一个实施例的流程图，如图3所示，上述模型训练方法可以包括：
步骤301，接收服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的。
步骤302，接收计算节点发送的更新后的模型参数，上述更新后的模型参数是上述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向上述服务节点发送的。
步骤303，根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型。
图4为本发明模型训练方法再一个实施例的流程图，如图4所示，步骤303之后，还可以包括：
步骤401，将上述更新后的模型发送给上述计算节点，以供上述计算节点根据上述更新后的模型和上述训练数据继续进行模型训练。
也就是说，本实施例中，服务节点在对上述服务节点维护的模型参数进行更新后，会将更新后的模型发送回计算节点，然后计算节点可以根据上述更新后的模型和上述训练数据继续进行模型训练。
图5为本发明模型训练方法再一个实施例的流程图，如图5所示，步骤303之后，还可以包括：
步骤501，定时或周期性地将上述服务节点获得的最新的模型发送给上述管理节点，以便上述管理节点保存上述最新的模型。
上述模型训练方法中，服务节点接收上述服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的，并接收计算节点发送的更新后的模型参数，然后根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
图6为本发明模型训练系统一个实施例的结构示意图，如图6所示，上述模型训练系统可以包括：管理节点61、计算节点62和服务节点63；
其中，管理节点61，用于向计算节点62发送训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；以及对上述初始模型的模型参数进行划分后，将划分后的模型参数发送给服务节点63；
另外，管理节点61，还负责维护服务节点63和计算节点62的运行状态，并提供外部查询接口，供用户查询系统运行状态。在上述模型训练系统的启动阶段，接收服务节点63和计算节点62的签到消息，并记入日志。
计算节点62，用于接收管理节点61发送的训练数据的描述信息、初始模型的模型参数和管理节点61划分的服务节点与服务节点维护的模型参数的对应关系；根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数；以及根据上述对应关系向服务节点63发送上述更新后的模型参数中由服务节点63维护的模型参数；
其中，管理节点61发送的训练数据的描述信息是上述管理节点为计算节点划分的训练数据的描述信息。上述训练数据的描述信息可以包括上述训练数据是训练数据列表中哪部分的训练数据，以及上述训练数据的存储地址等信息，本实施例对上述训练数据的描述信息所包括的内容不作限定。这样，计算节点62接收管理节点61发送的训练数据的描述信息之后，就可以根据上述训练数据的描述信息获得训练数据。
本实施例中，计算节点62，具体用于根据上述对应关系，定时或周期性地向服务节点63发送上述更新后的模型参数中由上述服务节点63维护的模型参数。
本实施例中，计算节点62获得的更新后的模型参数是上述计算节点62进行训练获得的模型所包含的全部参数，而每个服务节点63维护的只是上述模型的部分参数，所以计算节点62需要根据管理节点61划分的服务节点与服务节点维护的模型参数的对应关系，向服务节点63发送上述更新后的模型参数中由上述服务节点63维护的模型参数，以供上述服务节点63对自身维护的模型参数进行更新。
服务节点63，用于接收服务节点63维护的模型参数；以及接收计算节点62发送的更新后的模型参数，根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型。
其中，服务节点63维护的模型参数是管理节点61对初始模型的模型参数进行划分后发送给上述服务节点的。
本实施例中，服务节点63负责更新和维护本地模型，根据管理节点61的任务分配，维护模型中的部分参数；接收来自计算节点62的更新后的模型参数，并完成相应更新操作，然后向计算节点62返回更新后的模型。
服务节点63的模型更新操作主要包含模型参数的收发和模型更新。为降低响应延迟，服务节点63会派生接收线程、更新线程和发送线程，各线程之间通过队列实现任务流水。接收线程在收到更新后的模型参数后，将任务打包填入队列；之后更新线程取出任务执行相应模型更新运算，完成后将任务填入下一队列；发送线程负责将更新后的模型发送到原计算节点62。
本实施例中，服务节点63的任务流程可以如图7所示，图7为本发明模型训练系统中服务节点的任务流程一个实施例的示意图。
本实施例中，计算节点62，还用于接收服务节点63发送的更新后的模型，并根据上述更新后的模型和上述训练数据继续进行模型训练。
本实施例中，服务节点63，还用于定时或周期性地将服务节点63获得的最新的模型发送给管理节点61；管理节点61，还用于接收服务节点63发送的上述最新的模型，并保存上述最新的模型。
也就是说，本实施例中，管理节点61可以定时或周期性地将服务节点63获得的最新模型从服务节点63同步至管理节点61，并存储至数据库。
本实施例中，上述管理节点61、计算节点62和服务节点63之间的通信通过MPI完成。MPI内置的远程直接数据存取(RemoteDirectMemoryAccess；以下简称：RDMA)通信协议可以高效利用无线带宽(Infiniband)等高速互连网络，通信延迟和带宽较TCP协议均有明显改善，通信的可靠性和易维护性有显著提高。
本实施例中，上述管理节点61、计算节点62和服务节点63之间的交互示意图可以如图8所示，图8为本发明模型训练系统中管理节点、计算节点和服务节点之间的交互示意图。
参见图8，上述模型训练系统首先通过MPI在不同的服务器上启动管理节点61、服务节点63和计算节点62，之后服务节点63和计算节点62向管理节点61签到，管理节点61将服务节点63和计算节点62的签到消息记入日志。上述管理节点61、计算节点62和服务节点63之间后续的交互过程请参见图6所示实施例中的描述，在此不再赘述。
上述模型训练系统中，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
图9为本发明模型训练装置一个实施例的结构示意图，本实施例中的模型训练装置可以作为计算节点，或者计算节点的一部分实现本发明图1和图2所示实施例的流程，如图9所示，上述模型训练装置可以包括：接收模块91、获得模块92、训练模块93和发送模块94；
其中，接收模块91，用于接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；其中，上述管理节点发送的训练数据的描述信息是上述管理节点为计算节点划分的训练数据的描述信息。其中，上述管理节点发送的训练数据的描述信息是上述管理节点为计算节点划分的训练数据的描述信息。
获得模块92，用于根据上述训练数据的描述信息获得训练数据；
其中，上述训练数据的描述信息可以包括上述训练数据是训练数据列表中哪部分的训练数据，以及上述训练数据的存储地址等信息，本实施例对上述训练数据的描述信息所包括的内容不作限定。
这样，接收模块91接收管理节点发送的训练数据的描述信息之后，获得模块92就可以根据上述训练数据的描述信息获得训练数据。
训练模块93，用于根据获得模块92获得的训练数据和接收模块91接收的初始模型的模型参数进行模型训练，获得更新后的模型参数。
发送模块94，用于根据接收模块91接收的对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新。
本实施例中，发送模块94，具体用于根据上述对应关系，定时或周期性地向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数。
本实施例中，训练模块93获得的更新后的模型参数是训练模块93进行训练获得的模型所包含的全部参数，而每个服务节点维护的只是上述模型的部分参数，所以发送模块94需要根据管理节点划分的服务节点与服务节点维护的模型参数的对应关系，向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对自身维护的模型参数进行更新。
进一步地，接收模块91，还用于在发送模块94向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数之后，接收上述服务节点发送的更新后的模型，上述更新后的模型是上述服务节点对上述服务节点维护的模型参数进行更新后获得的；
训练模块93，还用于根据接收模块91接收的更新后的模型和上述训练数据继续进行模型训练。
也就是说，本实施例中，服务节点在对上述服务节点维护的模型参数进行更新后，会将更新后的模型发送回计算节点，然后训练模块93可以根据上述更新后的模型和上述训练数据继续进行模型训练。
上述模型训练装置中，接收模块91接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系之后，获得模块92根据上述训练数据的描述信息获得训练数据，训练模块93根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数，然后发送模块94根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
图10为本发明模型训练装置另一个实施例的结构示意图，本实施例中的模型训练装置可以作为服务节点，或者服务节点的一部分实现本发明图3、图4和图5所示实施例的流程，如图10所示，上述模型训练装置可以包括：接收模块1001和更新模块1002；
其中，接收模块1001，用于接收服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的；以及接收计算节点发送的更新后的模型参数，上述更新后的模型参数是计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向上述服务节点发送的；
更新模块1002，用于根据接收模块1001接收的更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型。
图11为本发明模型训练装置再一个实施例的结构示意图，与图10所示的模型训练装置相比，不同之处在于，图11所示的模型训练装置还可以包括：
发送模块1003，用于将更新模块1002获得的更新后的模型发送给上述计算节点，以供上述计算节点根据上述更新后的模型和上述训练数据继续进行模型训练。也就是说，本实施例中，更新模块1002在对上述服务节点维护的模型参数进行更新后，发送模块1003会将更新后的模型发送回计算节点，然后计算节点可以根据上述更新后的模型和上述训练数据继续进行模型训练。
进一步地，发送模块1003，还用于定时或周期性地将更新模块1002获得的最新的模型发送给上述管理节点，以便上述管理节点保存上述最新的模型。
上述模型训练装置中，接收模块1001接收上述服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的，并接收计算节点发送的更新后的模型参数，然后更新模块1002根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGateArray；以下简称：PGA)，现场可编程门阵列(FieldProgrammableGateArray；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (19)
1.一种模型训练方法，其特征在于，包括：
接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；
根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数；
根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数，以供所述服务节点对所述服务节点维护的模型参数进行更新。
2.根据权利要求1所述的方法，其特征在于，所述根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数之后，还包括：
接收所述服务节点发送的更新后的模型，所述更新后的模型是所述服务节点对所述服务节点维护的模型参数进行更新后获得的；
根据所述更新后的模型和所述训练数据继续进行模型训练。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数包括：
根据所述对应关系，定时或周期性地向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数。
4.根据权利要求1或2所述的方法，其特征在于，所述管理节点发送的训练数据的描述信息是所述管理节点为计算节点划分的训练数据的描述信息。
5.一种模型训练方法，其特征在于，包括：
接收服务节点维护的模型参数，所述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给所述服务节点的；
接收计算节点发送的更新后的模型参数，所述更新后的模型参数是所述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向所述服务节点发送的；
根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型之后，还包括：
将所述更新后的模型发送给所述计算节点，以供所述计算节点根据所述更新后的模型和所述训练数据继续进行模型训练。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型之后，还包括：
定时或周期性地将所述服务节点获得的最新的模型发送给所述管理节点，以便所述管理节点保存所述最新的模型。
8.一种模型训练系统，其特征在于，包括：管理节点、计算节点和服务节点；
所述管理节点，用于向所述计算节点发送训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；以及对所述初始模型的模型参数进行划分后，将划分后的模型参数发送给所述服务节点；
所述计算节点，用于接收所述管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数；以及根据所述对应关系向所述服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数；
所述服务节点，用于接收所述服务节点维护的模型参数；以及接收所述计算节点发送的更新后的模型参数，根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
9.根据权利要求8所述的系统，其特征在于，
所述计算节点，还用于接收所述服务节点发送的更新后的模型，并根据所述更新后的模型和所述训练数据继续进行模型训练。
10.根据权利要求8所述的系统，其特征在于，
所述计算节点，具体用于根据所述对应关系，定时或周期性地向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数。
11.根据权利要求8所述的系统，其特征在于，
所述服务节点，还用于定时或周期性地将所述服务节点获得的最新的模型发送给所述管理节点；
所述管理节点，还用于接收所述服务节点发送的所述最新的模型，并保存所述最新的模型。
12.根据权利要求8-11任意一项所述的系统，其特征在于，所述管理节点、所述计算节点和所述服务节点之间的通信通过信息传递接口完成。
13.一种模型训练装置，其特征在于，包括：
接收模块，用于接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；
获得模块，用于根据所述训练数据的描述信息获得训练数据；
训练模块，用于根据所述获得模块获得的训练数据和所述接收模块接收的初始模型的模型参数进行模型训练，获得更新后的模型参数；
发送模块，用于根据所述接收模块接收的对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数，以供所述服务节点对所述服务节点维护的模型参数进行更新。
14.根据权利要求13所述的装置，其特征在于，
所述接收模块，还用于在所述发送模块向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数之后，接收所述服务节点发送的更新后的模型，所述更新后的模型是所述服务节点对所述服务节点维护的模型参数进行更新后获得的；
所述训练模块，还用于根据所述接收模块接收的更新后的模型和所述训练数据继续进行模型训练。
15.根据权利要求13或14所述的装置，其特征在于，
所述发送模块，具体用于根据所述对应关系，定时或周期性地向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数。
16.根据权利要求13或14所述的装置，其特征在于，所述管理节点发送的训练数据的描述信息是所述管理节点为计算节点划分的训练数据的描述信息。
17.一种模型训练装置，其特征在于，包括：
接收模块，用于接收服务节点维护的模型参数，所述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给所述服务节点的；以及接收计算节点发送的更新后的模型参数，所述更新后的模型参数是所述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向所述服务节点发送的；
更新模块，用于根据所述接收模块接收的更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
18.根据权利要求17所述的装置，其特征在于，还包括：
发送模块，用于将所述更新模块获得的更新后的模型发送给所述计算节点，以供所述计算节点根据所述更新后的模型和所述训练数据继续进行模型训练。
19.根据权利要求18所述的装置，其特征在于，
所述发送模块，还用于定时或周期性地将所述更新模块获得的最新的模型发送给所述管理节点，以便所述管理节点保存所述最新的模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510888241.9A CN105575389B (zh) | 2015-12-07 | 2015-12-07 | 模型训练方法、系统和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510888241.9A CN105575389B (zh) | 2015-12-07 | 2015-12-07 | 模型训练方法、系统和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105575389A true CN105575389A (zh) | 2016-05-11 |
| CN105575389B CN105575389B (zh) | 2019-07-30 |
Family
ID=55885445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510888241.9A Active CN105575389B (zh) | 2015-12-07 | 2015-12-07 | 模型训练方法、系统和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105575389B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815644A (zh) * | 2017-01-26 | 2017-06-09 | 北京航空航天大学 | 机器学习方法和从节点 |
| CN107564522A (zh) * | 2017-09-18 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种智能控制方法及装置 |
| CN108229686A (zh) * | 2016-12-14 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 模型训练、预测方法、装置、电子设备及机器学习平台 |
| CN108243216A (zh) * | 2016-12-26 | 2018-07-03 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备与端云协同系统 |
| CN108682416A (zh) * | 2018-04-11 | 2018-10-19 | 深圳市卓翼科技股份有限公司 | 本地自适应语音训练方法和系统 |
| CN109600255A (zh) * | 2018-12-04 | 2019-04-09 | 中山大学 | 一种去中心化的参数服务器优化算法 |
| CN109840591A (zh) * | 2017-11-29 | 2019-06-04 | 华为技术有限公司 | 模型训练系统、方法和存储介质 |
| CN110490316A (zh) * | 2019-08-21 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于神经网络模型训练系统的训练处理方法、训练系统 |
| CN110858479A (zh) * | 2018-08-08 | 2020-03-03 | Oppo广东移动通信有限公司 | 语音识别模型更新方法、装置、存储介质及电子设备 |
| WO2020168761A1 (zh) * | 2019-02-22 | 2020-08-27 | 华为技术有限公司 | 训练模型的方法和装置 |
| WO2020210979A1 (zh) * | 2019-04-16 | 2020-10-22 | 华为技术有限公司 | 基于区块链网络的联合学习方法和联合学习设备 |
| CN112181599A (zh) * | 2020-10-16 | 2021-01-05 | 中国联合网络通信集团有限公司 | 模型训练方法、装置及存储介质 |
| WO2022002068A1 (zh) * | 2020-06-29 | 2022-01-06 | 中兴通讯股份有限公司 | 数据处理方法、系统、设备及存储介质 |
| CN108694694B (zh) * | 2017-04-10 | 2024-03-19 | 英特尔公司 | 用于使得能够进行可扩展分布式机器学习的抽象库 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080052075A1 (en) * | 2006-08-25 | 2008-02-28 | Microsoft Corporation | Incrementally regulated discriminative margins in MCE training for speech recognition |
| US20140129226A1 (en) * | 2012-11-05 | 2014-05-08 | Antonio R. Lee | Privacy-sensitive speech model creation via aggregation of multiple user models |
| CN104376842A (zh) * | 2013-08-12 | 2015-02-25 | 清华大学 | 神经网络语言模型的训练方法、装置以及语音识别方法 |
| CN104463324A (zh) * | 2014-11-21 | 2015-03-25 | 长沙马沙电子科技有限公司 | 一种基于大规模高性能集群的卷积神经网络并行处理方法 |
| CN104751228A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的构建方法及系统 |
-
2015
- 2015-12-07 CN CN201510888241.9A patent/CN105575389B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080052075A1 (en) * | 2006-08-25 | 2008-02-28 | Microsoft Corporation | Incrementally regulated discriminative margins in MCE training for speech recognition |
| US20140129226A1 (en) * | 2012-11-05 | 2014-05-08 | Antonio R. Lee | Privacy-sensitive speech model creation via aggregation of multiple user models |
| CN104376842A (zh) * | 2013-08-12 | 2015-02-25 | 清华大学 | 神经网络语言模型的训练方法、装置以及语音识别方法 |
| CN104751228A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的构建方法及系统 |
| CN104463324A (zh) * | 2014-11-21 | 2015-03-25 | 长沙马沙电子科技有限公司 | 一种基于大规模高性能集群的卷积神经网络并行处理方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229686A (zh) * | 2016-12-14 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 模型训练、预测方法、装置、电子设备及机器学习平台 |
| CN108229686B (zh) * | 2016-12-14 | 2022-07-05 | 阿里巴巴集团控股有限公司 | 模型训练、预测方法、装置、电子设备及机器学习平台 |
| CN108243216A (zh) * | 2016-12-26 | 2018-07-03 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备与端云协同系统 |
| WO2018121282A1 (zh) * | 2016-12-26 | 2018-07-05 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备与端云协同系统 |
| US11861499B2 (en) | 2016-12-26 | 2024-01-02 | Huawei Technologies Co., Ltd. | Method, terminal-side device, and cloud-side device for data processing and terminal-cloud collaboration system |
| CN108243216B (zh) * | 2016-12-26 | 2020-02-14 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备与端云协同系统 |
| CN106815644A (zh) * | 2017-01-26 | 2017-06-09 | 北京航空航天大学 | 机器学习方法和从节点 |
| CN106815644B (zh) * | 2017-01-26 | 2019-05-03 | 北京航空航天大学 | 机器学习方法和系统 |
| CN108694694B (zh) * | 2017-04-10 | 2024-03-19 | 英特尔公司 | 用于使得能够进行可扩展分布式机器学习的抽象库 |
| CN107564522A (zh) * | 2017-09-18 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种智能控制方法及装置 |
| CN109840591A (zh) * | 2017-11-29 | 2019-06-04 | 华为技术有限公司 | 模型训练系统、方法和存储介质 |
| WO2019105189A1 (zh) * | 2017-11-29 | 2019-06-06 | 华为技术有限公司 | 模型训练系统、方法和存储介质 |
| AU2018374912B2 (en) * | 2017-11-29 | 2023-10-19 | Huawei Cloud Computing Technologies Co., Ltd. | Model training system and method, and storage medium |
| CN109840591B (zh) * | 2017-11-29 | 2021-08-03 | 华为技术有限公司 | 模型训练系统、方法和存储介质 |
| CN108682416B (zh) * | 2018-04-11 | 2021-01-01 | 深圳市卓翼科技股份有限公司 | 本地自适应语音训练方法和系统 |
| CN108682416A (zh) * | 2018-04-11 | 2018-10-19 | 深圳市卓翼科技股份有限公司 | 本地自适应语音训练方法和系统 |
| CN110858479A (zh) * | 2018-08-08 | 2020-03-03 | Oppo广东移动通信有限公司 | 语音识别模型更新方法、装置、存储介质及电子设备 |
| CN110858479B (zh) * | 2018-08-08 | 2022-04-22 | Oppo广东移动通信有限公司 | 语音识别模型更新方法、装置、存储介质及电子设备 |
| US11423880B2 (en) | 2018-08-08 | 2022-08-23 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for updating a speech recognition model, electronic device and storage medium |
| CN109600255A (zh) * | 2018-12-04 | 2019-04-09 | 中山大学 | 一种去中心化的参数服务器优化算法 |
| WO2020168761A1 (zh) * | 2019-02-22 | 2020-08-27 | 华为技术有限公司 | 训练模型的方法和装置 |
| WO2020210979A1 (zh) * | 2019-04-16 | 2020-10-22 | 华为技术有限公司 | 基于区块链网络的联合学习方法和联合学习设备 |
| CN110490316B (zh) * | 2019-08-21 | 2023-01-06 | 腾讯科技（深圳）有限公司 | 基于神经网络模型训练系统的训练处理方法、训练系统 |
| CN110490316A (zh) * | 2019-08-21 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于神经网络模型训练系统的训练处理方法、训练系统 |
| WO2022002068A1 (zh) * | 2020-06-29 | 2022-01-06 | 中兴通讯股份有限公司 | 数据处理方法、系统、设备及存储介质 |
| CN112181599A (zh) * | 2020-10-16 | 2021-01-05 | 中国联合网络通信集团有限公司 | 模型训练方法、装置及存储介质 |
| CN112181599B (zh) * | 2020-10-16 | 2023-05-16 | 中国联合网络通信集团有限公司 | 模型训练方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105575389B (zh) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105575389A (zh) | 模型训练方法、系统和装置 | |
| US11580380B2 (en) | Systems and methods for distributed training of deep learning models | |
| US11714853B2 (en) | Efficient storage and searching of vector datasets | |
| US10469600B2 (en) | Local Proxy for service discovery | |
| KR102225822B1 (ko) | 인공지능 수행을 위한 학습 데이터 생성장치 및 방법 | |
| US11010313B2 (en) | Method, apparatus, and system for an architecture for machine learning acceleration | |
| CN102298569A (zh) | 在线学习算法的并行化 | |
| CN112446544A (zh) | 交通流预测模型训练方法、装置、电子设备及存储介质 | |
| CN112559007A (zh) | 多任务模型的参数更新方法、装置及电子设备 | |
| US20220076169A1 (en) | Federated machine learning using locality sensitive hashing | |
| CN110719320B (zh) | 公有云配置调整信息的生成方法和设备 | |
| US12061961B2 (en) | Automated knowledge infusion for robust and transferable machine learning | |
| CN113505520A (zh) | 用于支持异构联邦学习的方法、装置和系统 | |
| JP7412489B2 (ja) | 連合学習方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
| CN109598480A (zh) | 定时任务执行时间的管理方法及装置 | |
| CN109871982A (zh) | 一种配电网重构方法及云服务器、电子设备 | |
| CN116910568B (zh) | 图神经网络模型的训练方法及装置、存储介质及电子装置 | |
| US20180262589A1 (en) | Control system with persistent and transient data stores for registration, production and status data for networked devices | |
| US11630696B2 (en) | Messaging for a hardware acceleration system | |
| CN114528893A (zh) | 机器学习模型训练方法、电子设备及存储介质 | |
| CN116107666A (zh) | 程序业务流信息生成方法、装置、电子设备和计算机介质 | |
| CN110999263B (zh) | Iot装置集群的分层数据处理 | |
| CN112395272A (zh) | 通信算法数据库构建方法、分布式机器装置和存储介质 | |
| CN112926952A (zh) | 结合云计算的大数据办公业务处理方法及大数据服务器 | |
| US10063658B1 (en) | Dedicated network platform for data producing devices that emulates distinct data and control channels via bifurcation of single channel environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |