CN107944564B

CN107944564B - 深度学习作业处理方法、装置、设备及存储介质

Info

Publication number: CN107944564B
Application number: CN201710954755.9A
Authority: CN
Inventors: 徐东泽; 张发恩; 周恺; 王倩; 刘昆; 肖远昊; 孙家园; 刘岚; 许天涵
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2017-10-13
Filing date: 2017-10-13
Publication date: 2023-01-06
Anticipated expiration: 2037-10-13
Also published as: US11055602B2; CN107944564A; US20190114527A1

Abstract

本发明公开了深度学习作业处理方法、装置、设备及存储介质，可获取用户通过预定方式提交的深度学习作业，所述预定方式可包括web UI方式等，之后可将深度学习作业提交给深度学习系统，以便深度学习系统运行所提交的深度学习作业，相比于现有技术，本发明所述方案中在进行深度学习作业提交时，无需进行程序编写等处理，从而简化了用户操作，提高了深度学习作业的处理效率，加快了用户进行深度学习开发的速度等。

Description

深度学习作业处理方法、装置、设备及存储介质

【技术领域】

本发明涉及深度学习技术，特别涉及深度学习作业处理方法、装置、设备及存储介质。

【背景技术】

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，例如图像、声音和文本等。

目前主流的深度学习框架，比如Caffe、paddlepaddle、tensorflow等均是通过运行深度学习框架的编程语言来提交深度学习作业，也就是说，用户需要首先编写深度学习程序，然后run该程序来提交深度学习作业等，从而使得深度学习作业的提交过程比较复杂，降低了深度学习作业的处理效率。

【发明内容】

有鉴于此，本发明提供了深度学习作业处理方法、装置、设备及存储介质，能够提高深度学习作业的处理效率。

具体技术方案如下：

一种深度学习作业处理方法，包括：

获取用户通过预定方式提交的深度学习作业，所述预定方式包括：web用户界面UI方式；

将所述深度学习作业提交给深度学习系统，以便所述深度学习系统运行所述深度学习作业。

根据本发明一优选实施例，所述预定方式进一步包括：

命令行界面CLI方式；

笔记本界面风格Notebook Style方式。

根据本发明一优选实施例，所述将所述深度学习作业提交给深度学习系统包括：

对所述深度学习作业进行参数解析，将至少包括解析结果的作业信息提交给所述深度学习系统。

根据本发明一优选实施例，该方法进一步包括：

为用户呈现深度学习作业管理界面，以便用户对所提交的深度学习作业进行管理。

根据本发明一优选实施例，所述管理包括：停止、删除、查看状态。

一种深度学习作业处理装置，包括：获取单元以及管理单元；

所述获取单元，用于获取用户通过预定方式提交的深度学习作业，所述预定方式包括：web用户界面UI方式；

所述管理单元，用于将所述深度学习作业提交给深度学习系统，以便所述深度学习系统运行所述深度学习作业。

根据本发明一优选实施例，所述预定方式进一步包括：

命令行界面CLI方式；

笔记本界面风格Notebook Style方式。

根据本发明一优选实施例，所述管理单元对所述深度学习作业进行参数解析，将至少包括解析结果的作业信息提交给所述深度学习系统。

根据本发明一优选实施例，所述管理单元进一步用于，

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

基于上述介绍可以看出，采用本发明所述方案，可获取用户通过预定方式提交的深度学习作业，所述预定方式可包括：web UI方式，之后可将深度学习作业提交给深度学习系统，以便深度学习系统运行所提交的深度学习作业，相比于现有技术，本发明所述方案中无需进行程序编写等处理，从而简化了用户操作，提高了深度学习作业的处理效率，加快了用户进行深度学习开发的速度等。

【附图说明】

图1为本发明所述深度学习作业处理方法第一实施例的流程图。

图2为本发明所述深度学习作业处理方法第二实施例的流程图。

图3为本发明所述Web Server与深度学习系统之间的交互方式示意图。

图4为本发明所述深度学习作业处理装置实施例的组成结构示意图。

图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明所述深度学习作业处理方法第一实施例的流程图。如图1所示，包括以下具体实现方式。

在101中，获取用户通过预定方式提交的深度学习作业，所述预定方式包括：web用户界面(UI，User Interface)方式。

在102中，将深度学习作业提交给深度学习系统，以便深度学习系统运行所提交的深度学习作业。

如上所述，用户可通过web UI方式来提交深度学习作业，除此之外，本实施例中还提出，用户还可以通过以下方式来提交深度学习作业：命令行界面(CLI，Command-LineInterface)方式、笔记本界面风格(Notebook Style)方式，以下分别对这三种方式进行介绍。

一)CLI方式

即在web页面上，以CLI形式提交深度学习作业。

举例如下：

run–cpu 1–memory1024–gpu 1–jobName test–logPath/log–volume

/root:/root–cmd python test.py；

用户可通过提交以上参数来提交一个深度学习作业。

其中，各参数的含义分别为：

cpu:作业所需的cpu核数；

gpu：作业所需的gpu核数；

memory：作业所需的内存大小；

jobName：指定作业的名称；

logPath：日志地址；

volume：作业内的挂载路径；

cmd：用户运行作业的命令。

二)web UI方式

该方式中，用户可通过在web页面填写以上参数，进而点击页面的提交按钮来进行深度学习作业的提交。

三)Notebook Style方式

该方式中，可通过将以上参数序列化为一个json串，在提交窗口进行提交，如何进行序列化为现有技术。

比如，用户可在提交窗口填写以下json串：

之后点击提交按钮进行提交即可。

在实际应用中，具体采用CLI、web UI以及Notebook Style方式中的哪种方式来提交深度学习作业可根据实际需要而定。

无论用户通过哪种方式提交深度学习作业，在获取到用户提交的深度学习作业之后，均可对其进行参数解析，从而将至少包括解析结果的作业信息提交给深度学习系统，并且，可将作业信息保存到数据库中。

对深度学习作业进行参数解析，即指解析出作业所需的cpu核数、所需的gpu核数、所需的内存大小等。

深度学习系统会自动运行所提交的深度学习作业。

另外，现有技术中并未提供深度学习作业的管理功能，而本实施例中，可为用户呈现深度学习作业管理界面，以便用户对所提交的深度学习作业进行管理。即用户可在web页面中看到已经提交的作业，用以管理深度学习作业。

所述管理可包括停止、删除、查看状态等。其中，深度学习作业的状态可包括运行中、运行完成等，可查看深度学习作业处于何种状态，停止即指可对运行中的深度学习作业发出停止运行的指令等，删除即指可删除停止运行或运行完成的深度学习作业等。

如果用户提交了多个深度学习作业，那么用户可在深度学习作业管理界面上同时对这多个深度学习作业进行管理。

基于上述介绍，图2为本发明所述深度学习作业处理方法第二实施例的流程图。如图2所示，包括以下具体实现方式。

在201中，获取用户通过web UI、CLI或Notebook Style方式提交的深度学习作业。

具体采用何种方式可根据实际需要而定。

在202中，将深度学习作业提交给深度学习系统，以便深度学习系统运行所提交的深度学习作业。

具体地，可对获取到的深度学习作业进行参数解析，并将至少包括解析结果的作业信息提交给深度学习系统。

在203中，为用户呈现深度学习作业管理界面，以便用户对所提交的深度学习作业进行管理。

所述管理可包括停止、删除、查看状态等。

在实际应用中，上述各操作的执行主体可为Web Server。相应地，图3为本发明所述Web Server与深度学习系统(深度学习平台)之间的交互方式示意图。

如图3所示，Web Server获取用户通过web UI、CLI或Notebook Style方式提交的深度学习作业，并提交给深度学习系统，深度学习系统运行所提交的深度学习作业，另外，Web Server还可通过与深度学习系统进行实时地信息交互，为用户提供各深度学习作业的状态等，以便用户对所提交的深度学习作业进行管理。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

总之，采用上述各方法实施例所述方案，用户可通过CLI、web UI、Notebook Style等多种方式来提交深度学习作业，深度学习作业提交后可由深度学习系统进行深度学习任务的运行，并且，用户可以管理所提交的深度学习作业，对作业进行停止、删除、查看状态等操作。

相比于现有技术，上述各方法实施例所述方案中无需进行程序编写等处理，从而简化了用户操作，提高了深度学习作业的处理效率，加快了用户进行深度学习开发的速度。

另外，上述各方法实施例所述方案中集成了深度学习作业的管理功能，方便了用户对所提交的深度学习作业进行管理。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

图4为本发明所述深度学习作业处理装置实施例的组成结构示意图。如图4所示，包括：获取单元401以及管理单元402。

获取单元401，用于获取用户通过预定方式提交的深度学习作业，预定方式包括：web UI方式。

管理单元402，用于将深度学习作业提交给深度学习系统，以便深度学习系统运行深度学习作业。

如上所述，用户可通过web UI方式来提交深度学习作业，除此之外，本实施例中还提出，用户还可以通过以下方式来提交深度学习作业：CLI方式、Notebook Style方式，以下分别对这三种方式进行介绍。

一)CLI方式

即在web页面上，以CLI形式提交深度学习作业。

举例如下：

run–cpu 1–memory1024–gpu 1–jobName test–logPath/log–volume

/root:/root–cmd python test.py；

用户可通过提交以上参数来提交一个深度学习作业。

其中，各参数的含义分别为：

cpu:作业所需的cpu核数；

gpu：作业所需的gpu核数；

memory：作业所需的内存大小；

jobName：指定作业的名称；

logPath：日志地址；

volume：作业内的挂载路径；

cmd：用户运行作业的命令。

二)web UI方式

三)Notebook Style方式

比如，用户可在提交窗口填写以下json串：

之后点击提交按钮进行提交即可。

无论用户通过哪种方式提交深度学习作业，管理单元402在获取到用户提交的深度学习作业之后，均可对其进行参数解析，从而将至少包括解析结果的作业信息提交给深度学习系统，以便深度学习系统运行所提交的深度学习作业。

另外，管理单元402还可为用户呈现深度学习作业管理界面，以便用户对所提交的深度学习作业进行管理。

所述管理可包括停止、删除、查看状态等。如果用户提交了多个深度学习作业，那么用户可在深度学习作业管理界面上同时对这多个深度学习作业进行管理。

图4所示装置实施例的具体工作流程请参照前述各方法实施例中的相关说明，不再赘述。

总之，采用上述装置实施例所述方案，用户可通过CLI、web UI、Notebook Style等多种方式来提交深度学习作业，深度学习作业提交后可由深度学习系统进行深度学习任务的运行，并且，用户可以管理所提交的深度学习作业，对作业进行停止、删除、查看状态等操作。

相比于现有技术，上述装置实施例所述方案中无需进行程序编写等处理，从而简化了用户操作，提高了深度学习作业的处理效率，加快了用户进行深度学习开发的速度。

另外，上述装置实施例所述方案中集成了深度学习作业的管理功能，方便了用户对所提交的深度学习作业进行管理。

图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图5显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1或2所示实施例中的方法。

本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1或2所示实施例中的方法。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种深度学习作业处理方法，其特征在于，包括：

获取用户通过预定方式提交的深度学习作业，包括：获取在web页面上以命令行界面形式提交的深度学习作业的参数，或者，获取将所述深度学习作业的参数序列化为一个json串后、在提交窗口提交的深度学习作业，所述深度学习作业的参数包括：作业所需的中央处理器cpu核数、作业所需的图形处理器gpu核数、作业所需的内存大小、指定作业的名称、日志地址、作业内的挂载路径以及用户运行作业的命令；

将所述深度学习作业提交给深度学习系统，包括：对所述深度学习作业进行参数解析，将至少包括解析结果的作业信息提交给所述深度学习系统，以便所述深度学习系统运行所述深度学习作业；

该方法进一步包括：为用户呈现深度学习作业管理界面，所述深度学习作业管理界面中展示有用户提交的所有深度学习作业，以便用户同时对各深度学习作业进行管理。

2.根据权利要求1所述的方法，其特征在于，

所述管理包括：停止、删除、查看状态。

3.一种深度学习作业处理装置，其特征在于，包括：获取单元以及管理单元；

所述获取单元，用于获取用户通过预定方式提交的深度学习作业，包括：获取在web页面上以命令行界面形式提交的深度学习作业的参数，或者，获取将所述深度学习作业的参数序列化为一个json串后、在提交窗口提交的深度学习作业，所述深度学习作业的参数包括：作业所需的中央处理器cpu核数、作业所需的图形处理器gpu核数、作业所需的内存大小、指定作业的名称、日志地址、作业内的挂载路径以及用户运行作业的命令；

所述管理单元，用于将所述深度学习作业提交给深度学习系统，包括：对所述深度学习作业进行参数解析，将至少包括解析结果的作业信息提交给所述深度学习系统，以便所述深度学习系统运行所述深度学习作业；

所述管理单元进一步用于，为用户呈现深度学习作业管理界面，所述深度学习作业管理界面中展示有用户提交的所有深度学习作业，以便用户同时对各深度学习作业进行管理。

4.根据权利要求3所述的装置，其特征在于，

所述管理包括：停止、删除、查看状态。

5.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～2中任一项所述的方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～2中任一项所述的方法。