CN109146084A - 一种基于云计算的机器学习的方法及装置 - Google Patents

Abstract

一种基于云计算的机器学习的方法，包括：根据选定的深度学习框架拉取对应的镜像，根据所述镜像及包括指定的处理器资源的数量的配置信息创建容器，将输入的模型文件的存储路径和训练数据的存储路径与所述容器进行绑定；训练过程中，使用所述容器，执行根据所述模型文件的存储路径获取的模型文件，根据所述训练数据的存储路径读取所述训练数据，利用所读取的训练数据训练执行所述模型文件所建立的模型，发布训练好的模型。一种基于云计算的机器学习的装置。本方案能够消除机器学习使用过程中的复杂性，降低学习使用门槛。

Description

一种基于云计算的机器学习的方法及装置

技术领域

本发明涉及云计算技术，尤指一种基于云计算的机器学习的方法及装置。

背景技术

机器学习(Machine Learning，简称ML)是一门多领域交叉学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

目前，大多数开发人员通常觉得机器学习要比它本身难得多，因为需要构建和训练模型，然后将其部署到生产中的流程过于复杂，并且速度太慢。机器学习使用过程主要有以下几部分：收集和准备训练数据、选择要使用的算法和框架、通过训练教模型如何进行预测、调整模型、将模型与应用程序集成并部署等几大步骤，每一步都需要极为繁琐的手动工作，还需要大量的专业知识、访问大量的计算和存储、大量的时间对流程的各个方面进行试验和优化，这些因素导致大多数开发人员无法单独使用机器学习。

发明内容

为了解决上述技术问题，本发明提供了一种基于云计算的机器学习的方法及装置，消除机器学习使用过程中的复杂性，降低使用门槛。

为了达到本发明目的，本发明提供了一种基于云计算的机器学习的方法，其中，包括：

根据选定的深度学习框架拉取对应的镜像，根据所述镜像及包括指定的处理器资源的数量的配置信息创建容器，将输入的模型文件的存储路径和训练数据的存储路径与所述容器进行绑定；

训练过程中，使用所述容器，执行根据所述模型文件的存储路径获取的模型文件，根据所述训练数据的存储路径读取所述训练数据，利用所读取的训练数据训练执行所述模型文件所建立的模型，发布训练好的模型。

进一步地，所述训练过程中，还包括：根据用户利用Jupyter笔记本输入的指示，对模型代码进行调整。

进一步地，所述训练数据存储于存储空间中，所述存储空间挂载至所述容器中。

进一步地，所述发布训练好的模型，包括：

拉取选定的应用程序镜像，调用训练好的模型。

进一步地，所述深度学习框架包括以下任一种：张量流TensorFlow、MXNet、卷积神经网络框架；

所述处理器资源包括：图形处理器或中央处理器。

一种基于云计算的机器学习的装置，其中，包括：

创建模块，用于根据选定的深度学习框架拉取对应的镜像，根据所述镜像及包括指定的处理器资源的数量的配置信息创建容器，将输入的模型文件的存储路径和训练数据的存储路径与所述容器进行绑定；

训练模块，用于训练过程中，使用所述容器，执行根据所述模型文件的存储路径获取的模型文件，根据所述训练数据的存储路径读取所述训练数据，利用所读取的训练数据训练执行所述模型文件所建立的模型，发布训练好的模型。

进一步地，所述训练模块，还用于根据用户利用Jupyter笔记本输入的指示，对模型代码进行调整。

进一步地，所述训练数据存储于存储空间中，所述存储空间挂载至所述容器中。

进一步地，所述训练模块，还用于拉取选定的应用程序镜像，调用训练好的模型。

一种基于云计算的机器学习的装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其中，当所述指令被所述处理器执行时，实现上述机器学习的方法。

本发明实施例主要应用于基于云计算的机器学习平台，通过本方法和装置可以构建云平台上的机器学习服务，消除开发人员、科学家使用机器学习的所有障碍，能够消除机器学习使用过程中的复杂性，降低学习使用门槛。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的一种基于云计算的机器学习的方法的流程图；

图2为本发明实施例的基础环境构建的示意图；

图3为本发明实施例的一种基于云计算的机器学习的装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例的一种基于云计算的机器学习的方法的流程图，如图1所示，本实施例的方法可以包括：

步骤101、根据选定的深度学习框架拉取对应的镜像，根据所述镜像及包括指定的处理器资源的数量的配置信息创建容器(Docker)，将输入的模型文件的存储路径和训练数据的存储路径与所述容器进行绑定；

步骤102、训练过程中，使用所述容器，执行根据所述模型文件的存储路径获取的模型文件，根据所述训练数据的存储路径读取所述训练数据，利用所读取的训练数据训练执行所述模型文件所建立的模型，发布训练好的模型。

本实施例中，Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。

本实施例的方法利用Docker提供机器学习所需的基础资源，用户可自主选择使用GPU或CPU资源。

所述训练过程中，还可以包括：调整所述模型代码，可以在线调整模型代码，调整完成的代码可以直接运行，省却了下载、上传的步骤。

在一实施例中，可以利用Jupyter Notebook(笔记本)在线调整模型代码。

Jupyter Notebook(此前被称为IPython notebook)是一个交互式笔记本，本质是一个Web应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化。本实施例的方法利用Jupyter NoteBook可以轻松浏览并访问存储的数据。

所述处理器资源可以包括：图形处理器(GPU)或中央处理器(CPU)。

GPU，又称显示核心，用于将计算机系统所需要的显示信息进行转换驱动，目前机器学习领域，GPU运算已成为主流。

在一实施例中，所述将训练好的模型文件输出到目的地址后，还可以包括：

将训练好的模型文件发布到选定的应用程序。

这样，模型训练完成后与用户应用程序结合，发布到云平台。

本实施例的一种基于云计算的机器学习的方法，包括基础环境构建、训练和部署三部分，具体实施过程如下：

基础环境构建，如图2所示：

采用Docker容器技术提供GPU或CPU资源，目前GPU虚拟化尚不成熟，但是容器技术可以直接调用物理机上GPU资源。

可以采用NFS(Network File System，网络文件系统)共享存储或云平台上的其它存储产品(如CEPH(分布式文件系统)、GlusterFS等)。用户可以将训练数据放置在存储空间中，然后将存储空间挂载到Docker容器中以供训练使用；

搭建Docker镜像私服，默认提供TensorFlow(张量流)、MXnet、Caffe(Convolutional Architecture for Fast Feature Embedding，卷积神经网络框架)、Caffe2等框架，支持用户自定义框架并上传到Docker私服中。

训练时需创建训练任务，训练步骤如下：

A、将训练数据上传到云平台的存储空间中；

B、创建计算实例(容器类型)：用户填写模型文件的存储位置、训练数据来源、选择采用的框架类型、需GPU个数、任务输出目的地址等参数，系统会自动从Docker镜像服务器中拉取对应的训练代码镜像，并依据用户输入的参数创建Docker，绑定模型文件和训练数据的存储路径等。

C、模型训练：训练开始时，Docker会执行模型文件，从训练数据的存储路径读取训练数据进行训练，并将结果输出到任务的目的地址。

训练过程中可能需要调整模型代码，用户可以使用Jupyter NoteBook在线调整模型代码。

部署：

首先，指定模型位置，包括模型的存储路径和应用程序镜像的Docker镜像服务器路径；

然后，启动云实例，从Docker镜像服务器中拉取对应的应用程序镜像，调用训练好的模型，通过模型名称管理模型，提供推理应用服务。

本实施例的一种基于云计算的机器学习的方法，将机器学习使用过程进行一站式打通，并通过与云计算平台结合提供给客户使用，消除机器学习使用过程中的复杂性，降低使用门槛。

相应地，本实施例提供一种基于云计算的机器学习的装置，如图3所示，本实施例的装置200包括：

创建模块201，用于根据选定的深度学习框架拉取对应的镜像，根据所述镜像及包括指定的处理器资源的数量的配置信息创建容器，将输入的模型文件的存储路径和训练数据的存储路径与所述容器进行绑定；

训练模块203，用于训练过程中，使用所述容器，执行根据所述模型文件的存储路径获取的模型文件，根据所述训练数据的存储路径读取所述训练数据，利用所读取的训练数据训练执行所述模型文件所建立的模型，发布训练好的模型。

在一实施例中，训练模块203，用于将训练好的模型发布到选定的应用程序。

模型训练完成后与用户应用程序结合，发布到云平台。

本实施例的装置200，能够消除机器学习使用过程中的复杂性，降低学习使用门槛。

现有技术中，机器学习使用过程需基础环境搭建、训练、部署等工作，每一步都需要极为繁琐的手动工作，还需要大量的专业知识，使用门槛很高。本实施例的方案能够消除机器学习使用过程中的复杂性，降低学习使用门槛。

本发明实施例还提供一种基于云计算的机器学习的装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其中，当所述指令被所述处理器执行时，实现上述基于云计算的机器学习的方法。

本发明实施例还提供了一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令被执行时实现所述基于云计算的机器学习的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种基于云计算的机器学习的方法，其特征在于，包括：

根据选定的深度学习框架拉取对应的镜像，根据所述镜像及包括指定的处理器资源的数量的配置信息创建容器，将输入的模型文件的存储路径和训练数据的存储路径与所述容器进行绑定；

训练过程中，使用所述容器，执行根据所述模型文件的存储路径获取的模型文件，根据所述训练数据的存储路径读取所述训练数据，利用所读取的训练数据训练执行所述模型文件所建立的模型，发布训练好的模型。

2.根据权利要求1所述方法，其特征在于，

所述训练过程中，还包括：根据用户利用Jupyter笔记本输入的指示，对模型代码进行调整。

3.根据权利要求1所述方法，其特征在于，

所述训练数据存储于存储空间中，所述存储空间挂载至所述容器中。

4.根据权利要求1所述方法，其特征在于，所述发布训练好的模型，包括：

拉取选定的应用程序镜像，调用训练好的模型。

5.根据权利要求1所述方法，其特征在于，

所述深度学习框架包括以下任一种：张量流TensorFlow、MXNet、卷积神经网络框架；

所述处理器资源包括：图形处理器或中央处理器。

6.一种基于云计算的机器学习的装置，其特征在于，包括：

创建模块，用于根据选定的深度学习框架拉取对应的镜像，根据所述镜像及包括指定的处理器资源的数量的配置信息创建容器，将输入的模型文件的存储路径和训练数据的存储路径与所述容器进行绑定；

训练模块，用于训练过程中，使用所述容器，执行根据所述模型文件的存储路径获取的模型文件，根据所述训练数据的存储路径读取所述训练数据，利用所读取的训练数据训练执行所述模型文件所建立的模型，发布训练好的模型。

7.根据权利要求6所述装置，其特征在于，

所述训练模块，还用于根据用户利用Jupyter笔记本输入的指示，对模型代码进行调整。

8.根据权利要求7所述装置，其特征在于，

所述训练数据存储于存储空间中，所述存储空间挂载至所述容器中。

9.根据权利要求7所述装置，其特征在于，

所述训练模块，还用于拉取选定的应用程序镜像，调用训练好的模型。

10.一种基于云计算的机器学习的装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现上述机器学习的方法。