CN113485784A - 一种模型训练方法及装置 - Google Patents

Abstract

本发明实施例提供一种模型训练方法及装置，涉及机器学习技术领域，能够保障服务器(包括第一服务器和第二服务器)的运行能力，提升模型训练的效率。该方法包括：创建目标项目；从数据存储设备中获取目标数据集和该目标项目对应的镜像文件，该目标数据集为所述目标项目对应的数据集；向第二服务器发送该目标数据集和该镜像文件；接收该第二服务器发送的目标容器对应的互IP地址和端口信息，该目标容器为该镜像文件对应的容器。

Description

一种模型训练方法及装置

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种模型训练方法及装置。

背景技术

目前，可以在某一物理机或虚拟机上训练模型，具体的，以物理机为例，该物理机的本地可以存储训练需要的训练数据，进而该物理机可以基于该训练数据进行模型训练，以得到训练完成的模型。

但是，目前物理机本身的计算资源和存储资源一般是固定的，如此，上述模型训练方法可能不能满足模型训练所需的相关资源，影响模型的训练效率。

发明内容

本发明实施例提供一种模型训练方法及装置，能够保障服务器(包括第一服务器和第二服务器)的运行能力，提升模型训练的效率。

第一方面，本发明实施例提供一种模型训练方法，包括：创建目标项目；从数据存储设备中获取目标数据集和该目标项目对应的镜像文件，该目标数据集为该目标项目对应的数据集；向第二服务器发送该目标数据集和该镜像文件；接收该第二服务器发送的目标容器对应的互联网协议(internet protocol，IP)地址和端口信息，该目标容器为该镜像文件对应的容器。

第二方面，本发明实施例提供一种模型训练方法，包括：接收第一服务器发送的目标数据集和目标项目对应的镜像文件，该目标数据集为该目标项目对应的数据集；基于该目标数据集和该镜像文件训练模型，以得到该目标项目对应的训练模型；向该第一服务器发送目标容器对应的IP地址和端口信息，该目标容器为该镜像文件对应的容器。

第三方面，本发明实施例提供一种模型训练方法，包括：接收第一服务器发送的数据集获取请求消息，该数据集获取请求消息中包括目标用户的标识和目标项目的标识，该目标用户为该目标项目对应的用户；确定该目标用户的标识是否为目标数据集对应的用户标识，或者该目标数据集的数据状态是否为共享状态，该目标数据集为该目标项目对应的数据集；在该目标用户的标识为该目标数据集对应的用户标识，或者该目标数据集的数据状态为共享状态的情况下，向该第一服务器发送该目标数据集。

第四方面，本发明实施例提供一种模型训练装置，包括：创建模块、获取模块、发送模块以及接收模块；该创建模块，用于创建目标项目；该获取模块，用于从数据存储设备中获取目标数据集和该目标项目对应的镜像文件，该目标数据集为该目标项目对应的数据集；该发送模块，用于向第二服务器发送该目标数据集和该镜像文件；该接收模块，用于接收该第二服务器发送的目标容器对应的IP地址和端口信息，该目标容器为该镜像文件对应的容器。

第五方面，本发明实施例提供一种模型训练装置，包括：接收模块，训练模块以及发送模块；该接收模块，用于接收第一服务器发送的目标数据集和目标项目对应的镜像文件，该目标数据集为该目标项目对应的数据集；该训练模块，用于基于该目标数据集和该镜像文件训练模型，以得到该目标项目对应的训练模型；该发送模块，用于向该第一服务器发送目标容器对应的IP地址和端口信息，该目标容器为该镜像文件对应的容器。

第六方面，本发明实施例提供一种模型训练装置，包括：接收模块、确定模块以及发送模块；该接收模块，用于接收第一服务器发送的数据集获取请求消息，该数据集获取请求消息中包括目标用户的标识和目标项目的标识，该目标用户为该目标项目对应的用户；该确定模块，用于确定该目标用户的标识是否为目标数据集对应的用户标识，或者该目标数据集的数据状态是否为共享状态，该目标数据集为该目标项目对应的数据集；该发送模块，用于在该目标用户的标识为该目标数据集对应的用户标识，或者该目标数据集的数据状态为共享状态的情况下，向该第一服务器发送该目标数据集。

第七方面，本发明实施例提供另一种模型训练装置，包括：处理器、存储器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接，当模型训练装置运行时，处理器执行上述存储器存储的上述计算机执行指令，以使模型训练装置执行如上述第一方面、第二方面或者第三方面所提供的模型训练方法。

第八方面，本发明实施例提供一种计算机可读存储介质，包括计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上述第一方面、第二方面或者第三方面所提供的一种模型训练方法。

第九方面，本发明实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行上述第一方面、第二方面或者第三方面所提供的一种模型训练方法。

本发明实施例所提供的模型训练方法及装置，第一服务器创建目标项目，并从数据存储设备中获取目标数据集(即目标项目对应的数据集)和该目标项目对应的镜像文件，以及向第二服务器发送该目标数据集和该镜像文件；该第二服务器在接收到该目标数据集和该镜像文件之后，可以基于该目标数据集和该镜像文件训练模型，以得到该目标项目对应的训练模型，并且将目标容器(即该镜像文件对应的容器)的IP地址和端口信息发送至第一服务器，进而第一服务器在接收到UE的服务请求后，可以基于该IP地址和该端口信息从该第二服务器(具体为目标容器)中获取该目标项目对应的训练模型。本发明实施例中，由于模型训练所需的相关资源是其他设备提供的可选择、可变化的资源，包括数据集和镜像文件的存储资源等，如此，能够保障服务器(包括第一服务器和第二服务器)的运行能力，提升模型训练的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种模型训练系统的网络架构示意图；

图2为本发明实施例提供的一种第一服务器的硬件示意图；

图3为本发明实施例提供的一种第一服务器的内部结构示意图；

图4为本发明实施例提供的一种模型训练方法的流程示意图；

图5为本发明实施例提供的另一种模型训练方法的流程示意图；

图6为本发明实施例提供的一种第一服务器的结构示意图；

图7为本发明实施例提供的另一种第一服务器备的结构示意图；

图8为本发明实施例提供的一种第二服务器的结构示意图；

图9为本发明实施例提供的另一种第二服务器的结构示意图；

图10为本发明实施例提供的一种数据存储设备的结构示意图；

图11为本发明实施例提供的另一种数据存储设备的结构示意图。

具体实施方式

下面将结合附图对本发明实施例提供的模型训练方法及装置进行详细的描述。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序，例如，第一服务器和第二服务器等是用于区别不同的服务器，而不是用于描述服务器的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中所述“和/或”，包括用两种方法中的任意一种或者同时使用两种方法。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

基于背景技术存在的问题，本发明实施例提供一种模型训练方法及装置，第一服务器创建目标项目，并从数据存储设备中获取目标数据集(即目标项目对应的数据集)和该目标项目对应的镜像文件，以及向第二服务器发送该目标数据集和该镜像文件；该第二服务器在接收到该目标数据集和该镜像文件之后，可以基于该目标数据集和该镜像文件训练模型，以得到该目标项目对应的训练模型，并且将目标容器(即该镜像文件对应的容器)的IP地址和端口信息发送至第一服务器，进而第一服务器在接收到UE的服务请求后，可以基于该IP地址和该端口信息从该第二服务器(具体为目标容器)中获取该目标项目对应的训练模型。本发明实施例中，由于模型训练所需的相关资源是其他设备提供的可选择、可变化的资源，包括数据集和镜像文件的存储资源等，如此，能够保障服务器(包括第一服务器和第二服务器)的运行能力，提升模型训练的效率。

如图1所示，本发明实施例提供的一种模型训练方法及装置可以应用于模型训练系统，该模型训练系统包括第一服务器101、数据存储设备102、第二服务器103以及用户设备(user equipment，UE)104。通常，在实际应用中上述各个设备或服务功能之间的连接可以为无线连接，为了方便直观地表示各个设备之间的连接关系，图1中采用实线示意。

其中第一服务器101，用于从数据存储设备102中获取目标数据集和目标项目对应的镜像文件。

数据存储设备102，用于存储多个数据集(包括目标数据集)和多个镜像文件(包括目标项目对应的镜像文件)。本发明实施例中，数据存储设备102还用于存储多个训练模型(包括目标项目对应的训练模型)。

第二服务器103，用于基于目标数据集和目标项目对应的镜像文件训练模型，以得到目标项目对应的训练模型。

UE 104，用于向第一服务器101发送服务请求，该服务请求用于请求获取目标项目对应的训练模型。

示例性的，图2为本发明实施例提供的第一服务器的硬件结构示意图。如图2所示，该第一服务器20包括处理器201、存储器202以及网络接口203等。

其中，处理器201是第一服务器20的核心部件，处理器201用于运行第一服务器20的操作系统与该第一服务器20上的应用程序(包括系统应用程序和第三方应用程序)，以实现该第一服务器20进行模型训练方法。

本发明实施例中，处理器201可以是一个中央处理器(central processing unit，CPU)，微处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合，其能够实现或执行结合本发明实施例公开的内容所描述的各种示例性的逻辑方框，模块和电路；处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

可选地，第一服务器20的处理器201包括一个或多个CPU，该CPU为单核CPU(single-CPU)或多核CPU(multi-CPU)。

存储器202包括但不限于是随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、可擦除可编程只读存储器(erasable programmableread-only memory，EPROM)、快闪存储器、或光存储器等。存储器202中保存有操作系统的代码。

可选地，处理器201通过读取存储器202中保存的指令实现本发明实施例中的模型训练方法，或者，处理器201通过内部存储的指令实现本发明实施例提供的模型训练方法。在处理器201通过读取存储器保存的执行实现本发明实施例提供的模型训练方法的情况下，存储器中保存实现本发明实施例提供的模型训练方法的指令。

网络接口203是有线接口，例如光纤分布式数据接口(fiber distributed datainterface，FDDI)、千兆以太网(gigabit ethernet，GE)接口。或者，网络接口203是无线接口。网络接口203用于第一服务器与其他设备通信。

存储器202可以用于存储目标数据集和目标项目对应的镜像文件。至少一个处理器201进一步根据存储器202保存的目标数据集和目标项目对应的镜像文件来执行本发明实施例所描述的方法。处理器201实现上述功能的更多细节请参考下述各个方法实施例中的描述。

可选地，第一服务器20还包括总线，上述处理器201、存储器202通过总线204相互连接，或采用其他方式相互连接。

可选地，第一服务器20还包括输入输出接口205，输入输出接口205用于与输入设备连接，接收用户通过输入设备输入的服务请求(即请求获取目标项目对应的训练模型)。输入设备包括但不限于键盘、触摸屏、麦克风等等。输入输出接口205还用于与输出设备连接，输出处理器201的目标项目对应的训练模型。输出设备包括但不限于显示器、打印机等等。

应理解，本发明实施例中，上述第二服务器的硬件结构和数据存储设备的硬件结构与上述图2所示的第一服务器的硬件结构是类似的，关于第二服务器的硬件结构和数据存储设备的硬件结构的描述可参考第一服务器的硬件结构的描述，此处不予详述。

如图3所示，在本发明实施例的一种实现方式中，上述第一服务器可以包括数据集管理模块、项目管理模块、镜像管理模块以及代理模块。

具体的，该数据集管理模块，用于创建包含训练数据的数据集(例如目标数据集)和管理数据集；该数据集管理模块还用于将创建的至少一个数据集发送至数据存储设备。

该项目管理模块，用于创建和管理多个项目(例如目标项目)，并且还可以从数据集管理模块中选择(或确定)目标数据集。本发明实施例中，该项目管理模块，还用于从数据存储设备获取该目标数据集。

该镜像管理模块，用于创建和存储多个镜像文件(例如目标项目对应的镜像文件)；该镜像管理模块，还用于将该多个镜像文件发送至数据存储设备，以使得项目管理模块可以从该数据存储设备获取到该目标项目对应的镜像文件。

该代理模块，用于接收UE发送的服务请求，进而基于该服务请求中包括的目标项目的标识，从对应的容器中获取目标项目对应的训练模型。

结合上述图1所示的通信系统，下面从通信系统中各个设备交互的角度完整地描述本发明实施例提供的模型训练方法，以说明目标项目对应的训练模型训练的过程以及UE获取该目标项目对应的训练模型的过程。

如图4所示，本发明实施例提供的模型训练方法可以包括S101-S107。

S101、第一服务器创建目标项目。

应理解，第一服务器可以创建多个项目，目标项目为该多个项目中的一个。

具体的，第一服务器创建目标项目即创建该目标项目的项目信息，其中，该项目信息可以包括该目标项目的名称、该目标项目对应的计算资源、该目标项目的标识等。

可以理解的是，该目标项目对应的计算资源是在创建该目标项目时配置完成的，即训练该目标项目对应的训练模型需要多少的计算资源(例如需要多少CPU、多少内存等)。

S102、第一服务器从数据存储设备中获取目标数据集和目标项目对应的镜像文件。

其中，该目标数据集为该目标项目对应的数据集。

应理解，数据存储设备中可以存储多个项目各自对应的数据集和该多个项目各自对应的镜像文件，该第一服务器可以基于目标项目的标识从该数据存储设备中获取该目标数据集和该目标项目对应的镜像文件。

在本发明实施例的一种实现方式中，数据存储设备中存储的多个镜像文件可以为包括某些机器学习框架(例如tensorflow、keras或者pytorch)的Jupyter notebook镜像。本发明实施例中，可以根据用户(或项目需求)选择对应的Jupyter notebook镜像，并结合数据集中包括的数据对模型进行训练。

可选地，第一服务器可以创建多个数据集和/或多个镜像文件，并且在创建完成之后将该多个数据集和/或多个镜像文件发送至数据存储设备，以使得数据存储设备中存在该多个数据集和该多个镜像文件，进而，第一服务器可以从该数据存储设备中获取目标数据集和目标项目对应的镜像文件。

S103、第一服务器向第二服务器发送目标数据集和目标项目对应的镜像文件。

应理解，第一服务器在获取到该目标数据集和该镜像文件之后，可以将该目标数据集和该镜像文件发送至第二服务器，具体的，该第一服务器将该目标数据集中包括的训练数据发送至第二服务器，并且将该镜像文件配置到该第二服务器中，以使得该第二服务器训练得到目标项目对应的训练模型。

可选地，该第一服务器还可以将该目标项目对应的计算资源发送至该第二服务器，以使得该第二服务器可以根据该计算资源为目标容器(即训练该模型的容器)分配相应的计算资源。

S104、第二服务器接收第一服务器发送的目标数据集和目标项目对应的镜像文件。

S105、第二服务器基于目标数据集和目标项目对应的镜像文件训练模型，以得到目标项目对应的训练模型。

应理解，第二服务器可以为部署有kubernets(以下简称k8s)系统的设备，该第二服务器在接收到该目标数据集和该镜像文件之后，可以在该k8s系统中的一个容器中训练模型。

S106、第二服务器向第一服务器发送目标容器对应的IP地址和端口信息。

其中，该目标容器为上述镜像文件对应的容器。

应理解，一个镜像文件对应一个容器，在k8s系统内运行该目标项目对应的镜像文件即为启动该目标容器，该目标容器即为训练上述训练模型的容器。

在本发明实施例的一种实现方式中，第二服务器(具体为第二服务器中的目标容器)在完成上述模型训练之后，可以将该模型(即目标项目对应的模型)存储至其内存中，以使得第一服务器可以从该目标容器中获取该目标项目对应的训练模型。

S107、第一服务器接收第二服务器发送的目标容器对应的IP地址和端口信息。

可以理解的是，在第一服务器接收到该IP地址和该端口信息之后，可以基于该IP地址和该端口信息从第二服务器中包括的多个容器中确定目标容器，进而从该目标容器中获取目标项目对应的训练模型。

本发明实施例提供的模型训练方法，第一服务器创建目标项目，并从数据存储设备中获取目标数据集(即目标项目对应的数据集)和该目标项目对应的镜像文件，以及向第二服务器发送该目标数据集和该镜像文件；该第二服务器在接收到该目标数据集和该镜像文件之后，可以基于该目标数据集和该镜像文件训练模型，以得到该目标项目对应的训练模型，并且将目标容器(即该镜像文件对应的容器)的IP地址和端口信息发送至第一服务器，进而第一服务器在接收到UE的服务请求后，可以基于该IP地址和该端口信息从该第二服务器(具体为目标容器)中获取该目标项目对应的训练模型。本发明实施例中，由于模型训练所需的相关资源是其他设备提供的可选择、可变化的资源，包括数据集和镜像文件的存储资源等，如此，能够保障服务器(包括第一服务器和第二服务器)的运行能力，提升模型训练的效率。

在本发明实施例的一种实现方式中，上述从数据存储设备中获取目标数据集，具体包括：向数据存储设备发送数据集获取请求消息，并且接收数据存储设备发送的目标数据集。即如图5所示，本发明实施例提供的模型训练方法还可以包括S201-S206。

S201、第一服务器向数据存储设备发送数据集获取请求消息。

其中，该数据集获取请求消息中包括目标用户的标识和目标项目的标识，该目标用户为该目标项目对应的用户，该数据集获取请求消息用于请求获取目标数据集。

应理解，该目标项目对应的用户即为创建该目标项目的用户，或者可以理解为该目标项目的拥有者，在目标用户创建完成该目标项目之后，需要获取该目标数据集，进而通过第二服务器完成模型的训练过程。

S202、数据存储设备接收第一服务器发送的数据集获取请求消息。

S203、数据存储设备基于目标项目的标识确定目标数据集。

结合上述实施例的描述，应理解，该目标数据集为目标项目对应的数据集。

应理解，数据存储设备中可以存储多个数据集，一个目标项目可以对应一个数据集，如此，数据存储设备可以基于该目标项目的标识从该多个数据集中确定该目标数据集。

S204、数据存储设备确定目标用户的标识是否为目标数据集对应的用户标识，或者目标数据集的数据状态是否为共享状态。

可以理解的是，数据存储设备中存储的多个数据集中，每个数据集可以对应一个用户，该用户为该数据集的创建者或拥有者。

在一种条件下，当目标用户的标识为目标数据集对应的用户标识的时，说明该目标用户即为创建该目标数据集的用户，即该目标数据集为该目标用户创建的至少数据集中的一个，该目标用户可以使用该目标数据集，或者可以理解为将该目标数据集与该目标项目关联，以完成模型训练过程。否则，即当目标用户的标识不是目标数据集对应的用户标识时，说明该目标用户不是创建目标数据集的用户，该目标用户可能不能使用该目标数据集。

在另一种条件下，一个数据集的数据状态可以为私有状态或共享状态，私有状态用于表征该数据集只能由创建该数据集的用户访问或使用该数据集，共享状态用于表征该数据集是共享的，即所有请求获取(或使用)该数据集的用户都可以拿到该数据集。即当目标数据集的数据状态为共享状态时，目标用户可以使用该目标数据集，否则，即当目标数据集的数据状态为私有状态时，目标用户可能不能使用该目标数据集。

需要说明的是，某一项目(例如目标项目)对应的创建者(用户)不一定是该项目对应的数据集(例如目标数据集)的创建者(用户)，本发明实施例中，当目标用户为目标数据集对应的用户(或目标数据集的创建者)，或者目标数据集的数据状态为共享状态时，目标用户可以使用该目标数据集。

S205、在目标用户的标识为目标数据集对应的用户标识，或者目标数据集的数据状态为共享状态的情况下，数据存储设备向第一服务器发送目标数据集。

结合上述实施例的描述，应理解，当目标用户的标识为目标数据集对应的用户标识，或者该目标数据集的数据状态为共享状态的情况下，说明目标用户可以使用该目标数据集，如此数据设备可以向第一服务器发送该目标数据集。

S206、第一服务器接收数据存储设备发送的目标数据集。

本发明实施例提供的模型训练方法，第一服务器向数据存储设备发送数据集获取请求消息，即请求获取目标数据集，该数据集获取请求消息中包括目标用户(即目标项目对应的用户)的标识和该目标项目的标识；数据存储设备在接收到该数据集获取请求消息之后，基于该目标项目的标识从多个数据集中确定该目标数据集；然后，该数据存储设备确定该目标用户的标识是否为目标数据集对应的用户标识(即目标项目的创建者是否为目标数据集的创建者)，或者该目标数据集的数据状态是否为共享状态(即确定该目标数据集是否为所有用户均可使用的数据集)；并且在该目标用户的标识为该目标数据集对应的用户标识，或者该目标数据集的数据状态为共享状态的情况下，向第一服务器发送目标数据集，即允许目标用户获取并使用该目标数据集。本发明实施例中，数据存储设备可以基于目标项目的标识和目标用户的标识，确定目标用户是否具有获取并使用该目标数据集的权限，并在具有相应权限的情况下，获取(并使用)该目标数据集，能够提升数据集的获取准确性，进而提升模型训练的效率。

在一种实现方式中，本发明实施例提供的模型训练方法还可以包括步骤A-步骤I。

步骤A、UE向第一服务器发送服务请求。

其中，该服务请求中包括目标项目的标识，该服务请求用于获取目标项目对应的训练模型。

可选地，该服务请求可以为超文本传输协议(hypertext transfer protocol，HTTP)请求消息，或websocket请求消息。

步骤B、第一服务器接收UE发送的服务请求。

在一种实现方式中，具体可以为上述图3中第一服务器的代理模块，完成与UE和第二服务器(具体为目标容器)的交互过程。

步骤C、第一服务器根据目标项目的标识确定目标容器的IP地址和端口信息。

步骤D、第一服务器向目标容器发送服务请求。

步骤E、目标容器接收第一服务器发送的服务请求。

步骤F、目标容器根据目标项目的标识确定目标项目对应的训练模型。

步骤G、目标容器向第一服务器发送目标项目对应的训练模型。

步骤H、第一服务器接收第一服务器发送的目标项目对应的训练模型。

步骤I、第一服务器向UE发送目标项目对应的训练模型。

步骤J、UE接收第一服务器发送的目标项目对应的训练模型。

至此，UE可以通过第一服务器从第二服务器(具体为目标容器)中获取到目标项目对应的训练模型。

可选地，在上述S105之后，本发明实施例提供的模型训练方法还包括：

第二服务器向数据存储设备发送目标项目对应的训练模型。

应理解，第二服务器在得到目标项目对应的训练模型之后，可以将该训练模型发送至数据存储设备，以使得数据存储设备中可以存储该目标项目对应的训练模型。

即本发明实施例提供的模型训练方法还包括：

数据存储设备接收第二服务器发送的目标项目对应的训练模型。

可选地，在上述步骤B之后，第一服务器还可以将该服务请求发送至数据存储设备，以使得数据存储设备可以通过该第一服务器将该目标项目对应的训练模型发送至该UE。

本发明实施例可以根据上述方法示例对第一服务器、第二服务器以及数据存储设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中所涉及的第一服务器的一种可能的结构示意图，如图6所示，第一服务器30可以包括：创建模块301、获取模块302、发送模块303以及接收模块304。

创建模块301，用于创建目标项目。

获取模块302，用于从数据存储设备中获取目标数据集和该目标项目对应的镜像文件，该目标数据集为该目标项目对应的数据集。

发送模块303，用于向第二服务器发送该目标数据集和该镜像文件。

接收模块304，用于接收该第二服务器发送的目标容器对应的IP地址和端口信息，该目标容器为该镜像文件对应的容器。

可选地，发送模块303，还用于向数据存储设备发送数据集获取请求消息，该数据集获取请求消息中包括目标用户的标识和该目标项目的标识，该目标用户为该目标项目对应的用户。

接收模块304，还用于接收该数据存储设备发送的该目标数据集。

在采用集成的单元的情况下，图7示出了上述实施例中所涉及的第一服务器的一种可能的结构示意图。如图7所示，第一服务器40可以包括：处理模块401和通信模块402。处理模块401可以用于对第一服务器40的动作进行控制管理。通信模块402可以用于支持第一服务器40与其他实体的通信。可选地，如图7所示，该第一服务器40还可以包括存储模块403，用于存储第一服务器40的程序代码和数据。

其中，处理模块401可以是处理器或控制器(例如可以是上述如图2所示的处理器201)。通信模块402可以是收发器、收发电路或通信接口等(例如可以是上述如图2所示的网络接口203)。存储模块403可以是存储器(例如可以是上述如图2所示的存储器202)。

其中，当处理模块401为处理器，通信模块402为收发器，存储模块403为存储器时，处理器、收发器和存储器可以通过总线连接。总线可以是外设部件互连标准(peripheralcomponent interconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。

在采用对应各个功能划分各个功能模块的情况下，图8示出了上述实施例中所涉及的第二服务器的一种可能的结构示意图，如图8所示，第二服务器50可以包括：接收模块501，训练模块502以及发送模块503。

接收模块501，用于接收第一服务器发送的目标数据集和目标项目对应的镜像文件，该目标数据集为该目标项目对应的数据集。

训练模块502，用于基于该目标数据集和该镜像文件训练模型，以得到该目标项目对应的训练模型。

发送模块503，用于向该第一服务器发送目标容器对应的IP地址和端口信息，该目标容器为该镜像文件对应的容器。

可选地，发送模块503，还用于向数据存储设备发送该目标项目对应的训练模型。

在采用集成的单元的情况下，图9示出了上述实施例中所涉及的第二服务器的一种可能的结构示意图。如图9所示，第二服务器60可以包括：处理模块601和通信模块602。处理模块601可以用于对第二服务器60的动作进行控制管理。通信模块602可以用于支持第二服务器60与其他实体的通信。可选地，如图9所示，该第二服务器60还可以包括存储模块603，用于存储第二服务器60的程序代码和数据。

其中，处理模块601可以是处理器或控制器(例如可以是上述如图2所示的处理器201)。通信模块602可以是收发器、收发电路或通信接口等(例如可以是上述如图2所示的网络接口203)。存储模块603可以是存储器(例如可以是上述如图2所示的存储器202)。

其中，当处理模块601为处理器，通信模块602为收发器，存储模块603为存储器时，处理器、收发器和存储器可以通过总线连接。总线可以是PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。

在采用对应各个功能划分各个功能模块的情况下，图10示出了上述实施例中所涉及的数据存储设备的一种可能的结构示意图，如图10所示，数据存储设备70可以包括：接收模块701，确定模块702以及发送模块703。

接收模块701，用于接收第一服务器发送的数据集获取请求消息，该数据集获取请求消息中包括目标用户的标识和目标项目的标识，该目标用户为该目标项目对应的用户；

确定模块702，用于确定该目标用户的标识是否为目标数据集对应的用户标识，或者该目标数据集的数据状态是否为共享状态，该目标数据集为该目标项目对应的数据集；

发送模块703，用于在该目标用户的标识为该目标数据集对应的用户标识，或者该目标数据集的数据状态为共享状态的情况下，向该第一服务器发送该目标数据集。

可选地，接收模块701，还用于接收第二服务器发送的该目标项目对应的训练模型。

在采用集成的单元的情况下，图11示出了上述实施例中所涉及的数据存储设备的一种可能的结构示意图。如图11所示，数据存储设备80可以包括：处理模块801和通信模块802。处理模块801可以用于对数据存储设备80的动作进行控制管理。通信模块802可以用于支持数据存储设备80与其他实体的通信。可选地，如图11所示，该数据存储设备80还可以包括存储模块803，用于存储数据存储设备80的程序代码和数据。

其中，处理模块801可以是处理器或控制器(例如可以是上述如图2所示的处理器201)。通信模块802可以是收发器、收发电路或通信接口等(例如可以是上述如图2所示的网络接口203)。存储模块803可以是存储器(例如可以是上述如图2所示的存储器202)。

其中，当处理模块801为处理器，通信模块802为收发器，存储模块803为存储器时，处理器、收发器和存储器可以通过总线连接。总线可以是PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户终端线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种模型训练方法，应用于第一服务器，其特征在于，包括：

创建目标项目；

从数据存储设备中获取目标数据集和所述目标项目对应的镜像文件，所述目标数据集为所述目标项目对应的数据集；

向第二服务器发送所述数据集和所述镜像文件；

接收所述第二服务器发送的目标容器对应的互联网协议IP地址和端口信息，所述目标容器为所述镜像文件对应的容器。

2.根据权利要求1所述的模型训练方法，其特征在于，所述从数据存储设备中获取目标数据集，包括：

向数据存储设备发送数据集获取请求消息，所述数据集获取请求消息中包括目标用户的标识和所述目标项目的标识，所述目标用户为所述目标项目对应的用户；

接收所述数据存储设备发送的所述目标数据集。

3.一种模型训练方法，应用于第二服务器，其特征在于，包括：

接收第一服务器发送的目标数据集和目标项目对应的镜像文件，所述目标数据集为所述目标项目对应的数据集；

基于所述目标数据集和所述镜像文件训练模型，以得到所述目标项目对应的训练模型；

向所述第一服务器发送目标容器对应的互联网协议IP地址和端口信息，所述目标容器为所述镜像文件对应的容器。

4.根据权利要求3所述的模型训练方法，其特征在于，所述方法还包括：

向数据存储设备发送所述目标项目对应的训练模型。

5.一种模型训练方法，应用于数据存储设备，其特征在于，包括：

接收第一服务器发送的数据集获取请求消息，所述数据集获取请求消息中包括目标用户的标识和目标项目的标识，所述目标用户为所述目标项目对应的用户；

确定所述目标用户的标识是否为目标数据集对应的用户标识，或者所述目标数据集的数据状态是否为共享状态，所述目标数据集为所述目标项目对应的数据集；

在所述目标用户的标识为所述目标数据集对应的用户标识，或者所述目标数据集的数据状态为共享状态的情况下，向所述第一服务器发送所述目标数据集。

6.根据权利要求5所述的模型训练方法，其特征在于，所述方法还包括：

接收第二服务器发送的所述目标项目对应的训练模型。

7.一种模型训练装置，其特征在于，包括：创建模块、获取模块、发送模块以及接收模块；

所述创建模块，用于创建目标项目；

所述获取模块，用于从数据存储设备中获取目标数据集和所述目标项目对应的镜像文件，所述目标数据集为所述目标项目对应的数据集；

所述发送模块，用于向第二服务器发送所述目标数据集和所述镜像文件；

所述接收模块，用于接收所述第二服务器发送的目标容器对应的互联网协议IP地址和端口信息，所述目标容器为所述镜像文件对应的容器。

8.根据权利要求7所述的模型训练装置，其特征在于，

所述发送模块，还用于向数据存储设备发送数据集获取请求消息，所述数据集获取请求消息中包括目标用户的标识和所述目标项目的标识，所述目标用户为所述目标项目对应的用户；

所述接收模块，还用于接收所述数据存储设备发送的所述目标数据集。

9.一种模型训练装置，其特征在于，包括：接收模块，训练模块以及发送模块；

所述接收模块，用于接收第一服务器发送的目标数据集和目标项目对应的镜像文件，所述目标数据集为所述目标项目对应的数据集；

所述训练模块，用于基于所述目标数据集和所述镜像文件训练模型，以得到所述目标项目对应的训练模型；

所述发送模块，用于向所述第一服务器发送目标容器对应的互联网协议IP地址和端口信息，所述目标容器为所述镜像文件对应的容器。

10.根据权利要求9所述的模型训练装置，其特征在于，

所述发送模块，还用于向数据存储设备发送所述目标项目对应的训练模型。

11.一种模型训练装置，其特征在于，包括：接收模块、确定模块以及发送模块；

所述接收模块，用于接收第一服务器发送的数据集获取请求消息，所述数据集获取请求消息中包括目标用户的标识和目标项目的标识，所述目标用户为所述目标项目对应的用户；

所述确定模块，用于确定所述目标用户的标识是否为目标数据集对应的用户标识，或者所述目标数据集的数据状态是否为共享状态，所述目标数据集为所述目标项目对应的数据集；

所述发送模块，用于在所述目标用户的标识为所述目标数据集对应的用户标识，或者所述目标数据集的数据状态为共享状态的情况下，向所述第一服务器发送所述目标数据集。

12.根据权利要求11所述的模型训练装置，其特征在于，

所述接收模块，还用于接收第二服务器发送的所述目标项目对应的训练模型。

Images