CN112561079A - 分布式的模型训练装置、方法及计算机程序产品 - Google Patents

Abstract

本申请公开了分布式的模型训练装置、方法、电子设备、计算机可读存储介质及计算机程序产品，涉及深度学习技术领域。该装置的一具体实施方式包括：相互独立的分布式读取器、分布式训练器和分布式参数服务器，其中，分布式读取器中的读取器用于获取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器；分布式训练器中的训练器用于根据所加载的训练样本进行模型训练，得到梯度信息；分布式参数服务器中的参数服务器用于根据分布式训练器的梯度信息更新初始模型的参数，以得到训练后的目标模型。该实施方式提供了一种分布式的模型训练装置，模型训练过程中，各模块之间相互独立，配合运行，提高了模型的训练速度。

Description

分布式的模型训练装置、方法及计算机程序产品

技术领域

本申请涉及计算机技术技术领域，具体涉及深度学习技术领域，尤其涉及分布式的模型训练装置、方法、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着大数据浪潮的推动与深度学习技术的长足发展，深度学习所涉及的数据规模与模型规模都发生了惊人的增长。大数据+大模型的双重挑战，是单机训练无法承受之重，必须使用数据并行的分布式训练模式，才可以满足业务需求。目前，一般采用去中心化的分布式训练模式和中心化的分布式训练模式。

发明内容

本申请实施例提出了一种分布式的模型训练装置、方法、电子设备、计算机可读存储介质及计算机程序产品。

根据第一方面，本申请提供了一种分布式的模型训练装置，包括：相互独立的分布式读取器、分布式训练器和分布式参数服务器，其中，分布式读取器中的读取器用于获取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器；分布式训练器中的训练器用于根据所加载的训练样本进行模型训练，得到梯度信息；分布式参数服务器中的参数服务器用于根据分布式训练器的梯度信息更新初始模型的参数，以得到训练后的目标模型。

根据第二方面，本申请提供了一种分布式的模型训练方法，包括：将初始模型的训练过程划分成多个分布式功能模块，并确定多个分布式功能模块之间的通信接口，其中，多个分布式功能模块相互独立，包括分布式读取器、分布式训练器和分布式参数服务器；分布式读取器中的读取器获取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器；分布式训练器中的训练器，根据所加载的训练样本进行模型训练，并基于分布式训练器与分布式参数服务器的数据交互，得到训练后的目标模型。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述第二方面中的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述第二方面中的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第二方面中的方法。

本申请实施例提供的分布式的模型训练装置、方法、电子设备、计算机可读存储介质及计算机程序产品，装置包括相互独立的分布式读取器、分布式训练器和分布式参数服务器，其中，分布式读取器中的读取器用于获取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器；分布式训练器中的训练器用于根据所加载的训练样本进行模型训练，得到梯度信息；分布式参数服务器中的参数服务器用于根据分布式训练器的梯度信息更新初始模型的参数，以得到训练后的目标模型。

本申请提供了一种分布式的模型训练装置，模型训练过程中，各模块之间相互独立，配合运行，提高了模型的训练速度。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的分布式的模型训练方法的一个实施例的流程图；

图3是根据本申请的分布式的模型训练方法的一个应用场景的示意图；

图4是根据本申请的分布式的模型训练方法的又一个实施例的流程图；

图5是根据本申请的分布式的模型训练装置协同配合的一个实施例的流程图；

图6是适于用来实现本申请的实施例的电子设备/终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1示出了可以应用本申请的分布式的模型训练方法及装置的示例性架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以是支持网络连接从而进行信息交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息交互、显示、处理等功能的各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如获取终端设备101、102、103计算得到的梯度信息，进行模型参数更新的后台处理服务器。作为示例，服务器105可以是云端服务器。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

还需要说明的是，本申请的实施例所提供的分布式的模型训练方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，分布式的模型训练装置包括的各个部分(例如各个单元、各个模块)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当分布式的模型训练方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括分布式的模型训练方法运行于其上的电子设备(例如服务器或终端设备)。

继续参考图2，示出了分布式的模型训练方法的一个实施例的流程200，包括以下步骤：

步骤201，将初始模型的训练过程划分成多个分布式功能模块，并确定多个分布式功能模块之间的通信接口。

本实施例中，分布式的模型训练方法的执行主体(例如图1中的服务器)可以根据初始模型的训练过程所涉及的各功能，将初始模型的训练过程划分成多个分布式功能模块，并确定多个分布式功能模块之间的通信接口。

一般情况下，初始模型的训练过程会涉及数据获取功能、训练功能和参数更新功能。其中，数据获取功能表征获取训练样本；训练功能表征根据所获取的训练样本进行模型训练，通过正向传播计算过程和反向传播计算过程，得到对应的梯度信息；参数更新功能用于根据梯度信息进行初始模型的参数更新。根据上述各功能，上述执行主体将初始模型的训练过程划分为分布式读取器、分布式训练器和分布式参数服务器。

其中，分布式读取器、分布式训练器和分布式参数服务器之间相互独立，通过统一的通信接口进行数据交互。例如，分布式读取器与分布式训练器之间设置具有传输训练样本的功能的数据通信口；分布式训练器和分布式参数服务器之间设置具有传输梯度信息和参数信息的数据通信接口。可以理解，分布式读取器可以包括多个读取器，分布式训练器可以包括多个训练器，分布式参数服务器可以包括多个参数服务器。

在本实施例的一些可选的实现方式中，上述执行主体将分布式训练器中的每个训练器的参数处理功能独立成分布式参数处理器，将分布式训练器与分布式参数服务器之间的参数和梯度的数据交互功能独立成分布式通信器。也即，多个分布式功能模块还包括：分布式参数处理器和分布式通信器。其中，分布式参数处理器中的各参数处理器用于分布式训练器中参数和梯度的收发、聚合。作为示例，分布式训练器中的每个训练器对应于分布式参数处理器中的一个参数处理器，该参数处理器用于所对应的训练器的参数和梯度的收发和聚合。作为又一示例，参数处理器可以根据用户的操作指令，每训练预设数量批次的训练样本，进行一次梯度的聚合。其中，预设数量和每批次的训练样本的数量可以根据实际情况具体设置。例如，预设数量可以为1，每批次的训练样本的数量可以为32。

分布式通信器中的各通信器用于分布式训练器与分布式参数服务器之间的参数和梯度的数据交互。作为示例，每个训练器可以通过一个通信器与对应的参数服务器进行数据交互。其中，分布式通信器例如可以通过fleetWrapper实现。

分布式通信器还可以进行分布式训练器中训练样本的global shuffle(全局洗牌)，fleetWrapper中定义了训练器之间通信的能力，可以实现global shuffle。并且，分布式通信器可以提供稀疏参数的准入、淘汰、衰减和保存等进行大规模分布式训练的必要功能的请求接口。

在本实施例的一些可选的实现方式中，多个分布式功能模块还包括：外漏接口模块。其中，外漏接口模块提供与用户进行交互的接口。本实现方式中，外漏接口模块可以通过FleetAPI实现。

步骤202，分布式读取器中的各读取器获取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器。

本实施例中，上述执行主体可以通过分布式读取器中的各读取器获取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器。

作为示例，分布式读取器中的多个读取器和分布式训练期中的多个训练器一一对应。针对于分布式读取器中的每个读取器，将所获取的训练样本加载至于该读取与对应的训练器中。为了能满足高速运行模型的训练的需求，分布式读取器可以内置DataSet API(Application Programming Interface，应用程序接口)进行高性能的数据输入输出操作，以提高模型训练过程中的训练样本的获取速度。

在本实施例的一些可选的实现方式中，分布式读取器中的读取器与分布式训练器中对应的训练器之间通过多线程全异步的方式进行数据交互。可以理解，通过多线程全异步的方式，可以提高读取器与训练器之间的训练样本的传输速率，从而可以提高初始模型的训练速率。

在本实施例的一些可选的实现方式中，分布式读取器中的每个读取器都设有多个读取线程，每个读取线程都进行训练样本的获取。针对于分布式读取器中的每个读取器，该读取器内的各读取线程分别获取训练样本，并将所获取的训练样本加载至各读取线程一一对应的信息队列中，以使与该读取器对应的训练器的各训练线程从所对应的信息队列中获取训练样本。其中，每个信息队列可以设置于训练器中。本实现方式提供了一种具体的多线程全异步的数据交互方式，通过信息队列，可以进一步提高初始模型的训练速率。

步骤203，分布式训练器中的每个训练器，根据所加载的训练样本进行模型训练，并基于分布式训练器与分布式参数服务器的参数交互，得到训练后的目标模型。

本实施例中，上述执行主体可以通过分布式训练器中的每个训练器，根据所加载的训练样本进行模型训练，并基于分布式训练器与分布式参数服务器的参数交互，得到训练后的目标模型。

具体的，在分布式训练器中的训练器的模型训练过程中，通过分布式参数处理器中的参数处理器对分布式训练器进行参数和梯度的收发、聚合；通过分布式通信器中的通信器在分布式训练器与分布式参数服务器之间进行参数和梯度的数据交互，基于数据交互，得到训练后的目标模型。

作为示例，分布式参数处理器中的参数处理器每得到聚合后的梯度信息，都通过分布式通信器将梯度信息传输至分布式参数服务器；分布式参数服务器在得到梯度信息后，进行初始模型的参数更新。经过多次的参数更新后，响应于达到预设结束条件，得到训练后的目标模型。其中，预设结束条件用于表征初始模型训练完成。作为示例，预设结束条件可以是训练次数达到预设时间阈值、训练时间达到预设时间阈值、损失收敛至最小值。在达到预设结束条件之前，上述执行主体依据训练样本一直对初始模型进行训练。

本实施例中，响应于初始模型训练完成，得到训练后的目标模型。将输入数据输入预先训练的目标模型，可以得到对应的输出数据。作为示例，当训练后的目标模型为用于进行人脸识别的模型时，将包括人脸对象的图像输入预先训练的目标模型，得到对应的人脸识别结果；当训练后的目标模型为用于图像分类的模型时，将包括输入图像输入预先训练的目标模型，得到对应的图像分类结果；当训练后的目标模型为用于语音识别的模型时，将语音数据输入预先训练的目标模型，得到对应的语音识别结果。

继续参见图3，图3是根据本实施例的模型训练方法的应用场景的一个示意图。在图3的应用场景中，初始模型为用于图像分类的深度学习模型。在初始模型训练之前，首先根据初始模型的训练过程所涉及的各功能，将初始模型的训练过程划分成多个分布式功能模块，并确定多个分布式功能模块之间的通信接口。其中，多个分布式功能模块相互独立，包括分布式读取器301、分布式训练器302和分布式参数服务器303。具体的，分布式读取器301包括读取器3011、3012、3013，分布式训练器302包括训练器3021、3022、3023，分布式参数服务器303包括参数服务器3031、3032。通过分布式读取器中的读取器3011、3012、3013取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器3021、3022、3023；通过分布式训练器中的每个训练器，根据所加载的训练样本进行模型训练，并基于分布式训练器与分布式参数服务器中的参数服务器3031、3032的参数交互，得到训练后的目标模型。

本实施例提供了一种分布式的模型训练方法，模型训练过程中，各模块之间相互独立，配合运行，提高了模型的训练速度。

在本实施例的一些可选的实现方式中，针对于参数规模较大的初始模型，上述执行主体可以基于预设方式将初始模型的参数划分为目标数量份。其中，目标数量表征分布式参数服务器中的参数服务器的数量；通过分布式参数服务器中的每个参数服务器依次存储目标数量份参数中的一份参数。

作为示例，每个参数对应设有通过数字表征的参数标识，通过对参数标识进行基于目标数量所表征的数值的取模运算，可以将初始模型的参数划分成目标数量份。本实现方式中，通过分布式参数服务器中的各参数服务器对应存储上述数量份的参数，使得本申请适用于模型参数规模大的场景，扩展了本申请适用范围。

在本实施例的一些可选的实现方式中，针对于分布式训练器中的每个训练器，通过参数标识确定与该训练器进行参数交互的、分布式参数服务器中的目标参数服务器；基于该训练器和与该训练器对应的目标参数服务器的参数交互，得到训练后的目标模型。

本实现方式中，分布式训练器中的训练器与分布式参数服务器中的参数服务器相对应，分布式训练器中的训练器负责所对应的参数服务器中的参数的训练更新，进一步提高了模型的训练速度。

在本实施例的一些可选的实现方式中，上述执行主体在模型训练过程中，基于负载均衡策略，调整各训练器之间的算力，以使各训练器的算力相匹配。

其中，算力相匹配用于表征各训练器之间的负载状态相匹配。如此，将使得各训练器之间均处于满额负载状态，达到各训练器之间的最佳运行状态，避免了各训练器中存在处于空闲状态的训练器，从而提高了模型训练速度和训练器的利用率。

继续参考图4，示出了根据本申请的模型训练方法的另一个实施例的示意性流程400，包括以下步骤：

步骤401，将初始模型的训练过程划分成多个分布式功能模块，并确定多个分布式功能模块之间的通信接口。

其中，多个分布式功能模块相互独立，包括分布式读取器、分布式训练器和分布式参数服务器。

步骤402，基于预设方式将初始模型的参数划分为目标数量份。

其中，目标数量表征分布式参数服务器中的参数服务器的数量。

步骤403，通过分布式参数服务器中的每个参数服务器对应存储目标数量份参数中的一份参数。

步骤404，分布式读取器中的读取器获取训练样本，并将所获取的训练样本加载至分布式训练器中对应的训练器。

步骤405，分布式训练器中的训练器，根据所加载的训练样本进行模型训练。

步骤406，针对于分布式训练器中的每个训练器，通过参数标识确定与该训练器进行数据交互的、分布式参数服务器中的目标参数服务器。

步骤407，基于该训练器和与该训练器对应的目标参数服务器之间的数据交互，得到训练后的目标模型。

本实施例中，从图4中可以看出，与图2对应的实施例相比，本实施例中的模型训练方法的流程400突出说明了分布式参数服务器中的参数服务器对应存储初始模型的部分参数，并通过与分布式训练器中的训练器的数据交互，完成初始模型的训练。如此，本实施例进一步提高了模型训练的速度以及本申请的适用范围。

进一步参考图5，作为对上述图2所示方法的实现，本申请提供了一种模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征，以及产生与图2所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的分布式的模型训练装置，包括：相互独立的分布式读取器501、分布式训练器502和分布式参数服务器503。其中，分布式读取器501中包括多个读取器，分布式训练器502中包括多个训练器，分布式参数服务器503中包括多个参数服务器。具体的，分布式读取器501中的读取器用于获取训练样本，并将所获取的训练样本加载至分布式训练器502中对应的训练器；分布式训练器502中的训练器用于根据所加载的训练样本进行模型训练，得到梯度信息；分布式参数服务器503中的参数服务器用于根据分布式训练器502的梯度信息更新初始模型的参数，以得到训练后的目标模型。

在本实施例的一些可选的实现方式中，上述装置还包括：分布式参数处理器(图中未示出)和分布式通信器(图中未示出)。分布式参数处理器中的参数处理器用于分布式训练器中参数和梯度的收发、聚合；分布式通信器中的通信器用于分布式训练器与分布式参数服务器之间的参数和梯度的数据交互。

在本实施例的一些可选的实现方式中，分布式读取器501中的读取器与分布式训练器502中对应的训练器之间通过多线程全异步的方式进行数据交互。

在本实施例的一些可选的实现方式中，分布式读取器501中的读取器内的各读取线程分别获取训练样本，并将所获取的训练样本加载至各读取线程一一对应的信息队列中，以使与该读取器对应的训练器的各训练线程从所对应的信息队列中获取训练样本。

在本实施例的一些可选的实现方式中，初始模型的参数基于预设方式被划分为目标数量份，其中，目标数量表征分布式参数服务器503中的参数服务器的数量；分布式参数服务器中的每个参数服务器依次存储目标数量份参数中的一份参数。

在本实施例的一些可选的实现方式中，分布式训练器502中的训练器进一步用于通过参数标识确定与该训练器进行数据交互的、分布式参数服务器503中的目标参数服务器；分布式通信器中的通信器进一步用于分布式训练器中的训练器和与该训练器对应的目标参数服务器之间的数据交互。

在本实施例的一些可选的实现方式中，上述装置还包括：外漏接口模块(图中未示出)。外漏接口模块用于提供与用户进行交互的接口。

本实施例提供了一种分布式的模型训练装置，模型训练过程中，各模块之间相互独立，配合运行，提高了模型的训练速度。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本申请的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如分布式的模型训练方法。例如，在一些实施例中，分布式的模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的分布式的模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分布式的模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。

根据本申请实施例的技术方案，提供了一种分布式的模型训练方法，模型训练过程中，各模块之间相互独立，配合运行，提高了模型的训练速度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种分布式的模型训练装置，包括：相互独立的分布式读取器、分布式训练器和分布式参数服务器，其中，

所述分布式读取器中的读取器用于获取训练样本，并将所获取的训练样本加载至所述分布式训练器中对应的训练器；

所述分布式训练器中的训练器用于根据所加载的训练样本进行模型训练，得到梯度信息；

所述分布式参数服务器中的参数服务器用于根据所述分布式训练器的梯度信息更新初始模型的参数，以得到训练后的目标模型。

2.根据权利要求1所述的装置，其中，还包括：分布式参数处理器和分布式通信器；

所述分布式参数处理器中的参数处理器用于所述分布式训练器中参数和梯度的收发、聚合；

所述分布式通信器中的通信器用于所述分布式训练器与所述分布式参数服务器之间的参数和梯度的数据交互。

3.根据权利要求1所述的装置，其中，所述分布式读取器中的读取器与所述分布式训练器中对应的训练器之间通过多线程全异步的方式进行数据交互。

4.根据权利要求3所述的装置，其中，所述分布式读取器中的读取器内的各读取线程分别获取训练样本，并将所获取的训练样本加载至各读取线程一一对应的信息队列中，以使与该读取器对应的训练器的各训练线程从所对应的信息队列中获取训练样本。

5.根据权利要求1所述的装置，其中，所述初始模型的参数基于预设方式被划分为目标数量份，其中，所述目标数量表征所述分布式参数服务器中的参数服务器的数量；

所述分布式参数服务器中的每个参数服务器依次存储所述目标数量份参数中的一份参数。

6.根据权利5所述的装置，其中，所述分布式训练器中的训练器进一步用于通过参数标识确定与该训练器进行数据交互的、所述分布式参数服务器中的目标参数服务器；

所述分布式通信器中的通信器进一步用于所述分布式训练器中的训练器和与该训练器对应的目标参数服务器之间的数据交互。

7.根据权利要求2所述的装置，其中，还包括：外漏接口模块；

所述外漏接口模块用于提供与用户进行交互的接口。

8.一种分布式的模型训练方法，包括：

将初始模型的训练过程划分成多个分布式功能模块，并确定所述多个分布式功能模块之间的通信接口，其中，所述多个分布式功能模块相互独立，包括分布式读取器、分布式训练器和分布式参数服务器；

所述分布式读取器中的读取器获取训练样本，并将所获取的训练样本加载至所述分布式训练器中对应的训练器；

所述分布式训练器中的训练器，根据所加载的训练样本进行模型训练，并基于所述分布式训练器与所述分布式参数服务器的数据交互，得到训练后的目标模型。

9.根据权利要求8所述的方法，其中，所述多个分布式功能模块还包括：分布式参数处理器和分布式通信器；所述方法还包括：

所述分布式训练器中的训练器，根据所加载的训练样本进行模型训练，并基于所述分布式训练器与所述分布式参数服务器的数据交互，得到训练后的目标模型，包括：

在所述分布式训练器中的训练器的模型训练过程中，通过分布式参数处理器中的参数处理器对所述分布式训练器进行参数和梯度的收发、聚合；

通过所述分布式通信器中的通信器在所述分布式训练器与所述分布式参数服务器之间进行参数和梯度的数据交互，基于所述数据交互，得到训练后的目标模型。

10.根据权利要求8所述的方法，其中，所述分布式读取器中的读取器与所述分布式训练器中对应的训练器之间通过多线程全异步的方式进行数据交互。

11.根据权利要求10所述的方法，其中，所述分布式读取器中的读取器获取训练样本，并将所获取的训练样本加载至所述分布式训练器中对应的训练器，包括：

针对所述分布式读取器中的每个读取器，该读取器内的各读取线程分别获取训练样本，并将所获取的训练样本加载至各读取线程一一对应的信息队列中，以使与该读取器对应的训练器的各训练线程从所对应的信息队列中获取训练样本。

12.根据权利8所述的方法，还包括：

基于预设方式将所述初始模型的参数划分为目标数量份，其中，所述目标数量表征所述分布式参数服务器中的参数服务器的数量；

通过所述分布式参数服务器中的每个参数服务器依次存储所述目标数量份参数中的一份参数。

13.根据权利12所述的方法，其中，所述基于所述分布式训练器与所述分布式参数服务器的数据交互，得到训练后的目标模型，包括：

针对于所述分布式训练器中的每个训练器，通过参数标识确定与该训练器进行数据交互的、所述分布式参数服务器中的目标参数服务器；

基于该训练器和与该训练器对应的目标参数服务器之间的数据交互，得到训练后的目标模型。

14.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求8-13中任一项所述的方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求8-13中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求8-13中任一项所述的方法。

Images