CN111488211A

CN111488211A - 基于深度学习框架的任务处理方法、装置、设备及介质

Info

Publication number: CN111488211A
Application number: CN202010276103.6A
Authority: CN
Inventors: 窦奇伟; 路劲; 卓呈祥
Original assignee: Beijing Didi Infinity Technology and Development Co Ltd
Current assignee: Beijing Didi Infinity Technology and Development Co Ltd
Priority date: 2020-04-09
Filing date: 2020-04-09
Publication date: 2020-08-04

Abstract

本申请提供了一种基于深度学习框架的任务处理方法、装置、设备及介质，涉及数据处理技术领域，通过获取用户输入的任务配置信息，任务配置信息包括：至少一个待处理任务的指示，其中，待处理任务为深度学习框架中预配置任务或已注册任务；根据任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑，其中，处理逻辑包括：处理顺序、各待处理任务与其他待处理任务之间的逻辑关系；按照处理逻辑依次处理各待处理任务。通过生成至少一个待处理任务的处理逻辑，根据该处理逻辑依次对至少一个待处理任务进行处理，实现了基于一个深度学习框架对至少一个待处理任务的处理，达到了整体管理的目的，提升执行效率。

Description

基于深度学习框架的任务处理方法、装置、设备及介质

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种基于深度学习框架的任务处理方法、装置、设备及介质。

背景技术

在深度学习初始阶段，每个深度学习研究者都需要写大量的重复代码。为了提高工作效率，可以将重复的代码写成了一个框架。在开始深度学习项目时可以通过该框架来实现。

相关技术中，一个框架可以处理一个待处理的任务，当具有多个待处理任务时，需要选择多个框架对多个待处理任务进行处理。

但是，相关技术中，当深度学习框架需要处理多个待处理任务时，缺少整体的管理和执行，执行效率不高。

发明内容

有鉴于此，本申请实施例的目的在于提供一种基于深度学习框架的任务处理方法、装置、设备及介质，用于解决现有技术中处理效率较低的问题。

第一方面，本申请实施例提供了一种基于深度学习框架的任务处理方法，所述方法包括：

获取用户输入的任务配置信息，所述任务配置信息包括：至少一个待处理任务的指示，其中，所述待处理任务为深度学习框架中预配置任务或已注册任务；

根据所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑，其中，所述处理逻辑包括：处理顺序、各所述待处理任务与其他待处理任务之间的逻辑关系；

按照所述处理逻辑依次处理各所述待处理任务。

可选地，所述方法还包括：

获取用户的注册信息，所述注册信息包括：用户自定义任务或用户自定义模型，其中，所述注册信息符合所述深度学习框架中的用户自定义模板；

根据所述注册信息在所述深度学习框架中对应添加新的已注册任务或新的已注册模型。

可选地，所述根据所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑，包括：

根据所述任务配置信息、以及预设的任务逻辑关系，生成有向无环图，其中，各所述待处理任务作为所述有向无环图的节点，每个所述节点的标号用于标识处理顺序，所述节点之间的有向箭头用于标识各所述待处理任务的逻辑依赖关系。

可选地，所述根据所述任务配置信息、以及预设的任务逻辑关系，生成有向无环图，包括：

根据所述任务配置信息，调用所述任务配置信息对应的任务实体；

根据所述任务实体以及所述预设的任务逻辑关系，生成有向无环图。

可选地，所述至少一个待处理任务包括下述一项或多项的组合：特征处理、特征编码、模型训练、基于模型的数据预测。

可选地，所述至少一个待处理任务包括所述特征处理、所述特征编码；所述按照所述处理逻辑依次处理各所述待处理任务，包括：

将根据数据源获取的样本数据进行有效性检测，获取检测合格的样本数据；

对所述样本数据进行所述特征处理，获取特征合并后的特征文件；

将所述特征文件作为所述特征编码的输入，获取编码后的特征向量。

可选地，所述至少一个待处理任务还包括：所述模型训练；所述按照所述处理逻辑依次处理各所述待处理任务，包括：

将所述特征向量作为待训练模型的输入，采用图形处理器GPU单机进行所述模型训练。

可选地，所述至少一个待处理任务还包括：所述基于模型的数据预测；所述按照所述处理逻辑依次处理各所述待处理任务，包括：

将所述模型训练后的模型分发至各个工作节点，通过各个所述工作节点将待预测数据通过所述模型进行预测，获取预测结果。

根据所述任务配置信息，获取所述深度学习框架的运行必要参数；

根据所述运行必要参数，启动所述深度学习框架，并基于所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑。

第二方面，本申请实施例提供了一种基于深度学习框架的任务处理装置，所述装置包括：

获取模块，用于获取用户输入的任务配置信息，所述任务配置信息包括：至少一个待处理任务的指示，其中，所述待处理任务为深度学习框架中预配置任务或已注册任务；

生成模块，用于根据所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑，其中，所述处理逻辑包括：处理顺序、各所述待处理任务与其他待处理任务之间的逻辑关系；

处理模块，用于按照所述处理逻辑依次处理各所述待处理任务。

可选地，所述装置还包括：

第一获取模块，用于获取用户的注册信息，所述注册信息包括：用户自定义任务或用户自定义模型，其中，所述注册信息符合所述深度学习框架中的用户自定义模板；

添加模块，用于根据所述注册信息在所述深度学习框架中对应添加新的已注册任务或新的已注册模型。

可选地，所述生成模块，还用于根据所述任务配置信息、以及预设的任务逻辑关系，生成有向无环图，其中，各所述待处理任务作为所述有向无环图的节点，每个所述节点的标号用于标识处理顺序，所述节点之间的有向箭头用于标识各所述待处理任务的逻辑依赖关系。

可选地，所述生成模块，还用于根据所述任务配置信息，调用所述任务配置信息对应的任务实体；根据所述任务实体以及所述预设的任务逻辑关系，生成有向无环图。

可选地，所述至少一个待处理任务包括所述特征处理、所述特征编码；所述处理模块，还用于将根据数据源获取的样本数据进行有效性检测，获取检测合格的样本数据；对所述样本数据进行所述特征处理，获取特征合并后的特征文件；将所述特征文件作为所述特征编码的输入，获取编码后的特征向量。

可选地，所述至少一个待处理任务还包括：所述模型训练；所述处理模块，还用于将所述特征向量作为待训练模型的输入，采用图形处理器GPU单机进行所述模型训练。

可选地，所述至少一个待处理任务还包括：所述基于模型的数据预测；所述处理模块，还用于将所述模型训练后的模型分发至各个工作节点，通过各个所述工作节点将待预测数据通过所述模型进行预测，获取预测结果。

可选地，所述生成模块，还用于根据所述任务配置信息，获取所述深度学习框架的运行必要参数；根据所述运行必要参数，启动所述深度学习框架，并基于所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如第一方面任一所述的基于深度学习框架的任务处理方法的步骤。

第四方面，本申请实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一所述的基于深度学习框架的任务处理方法的步骤。

本申请实施例提供一种基于深度学习框架的任务处理方法、装置、设备及介质，获取用户输入的任务配置信息，任务配置信息包括：至少一个待处理任务的指示，其中，待处理任务为深度学习框架中预配置任务或已注册任务；根据任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑，其中，处理逻辑包括：处理顺序、各待处理任务与其他待处理任务之间的逻辑关系；按照处理逻辑依次处理各待处理任务。该深度学习框架的任务处理方法可以根据任务配置信息和预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑，根据该处理逻辑依次对至少一个待处理任务进行处理，从而可以实现基于一个深度学习框架对至少一个待处理任务的处理，达到了整体管理的目的，提升执行效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请一些实施例提供基于深度学习框架的任务处理系统的框图；

图2示出了本申请一些实施例提供的电子设备的结构示意图；

图3示出了本申请一些实施例提供的一种深度学习框架的结构示意图；

图4示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图；

图5示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图；

图6示出了本申请一些实施例提供的一种深度学习框架中注册与配置过程的框图；

图7示出了本申请一些实施例提供的一种有向无环图的结构示意图；

图8示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图；

图9示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图；

图10示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图；

图11示出了本申请一些实施例提供的一种基于深度学习框架的任务处理装置的结构示意图；

图12示出了本申请实施例提供的另一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

图1示出了本申请一些实施例提供基于深度学习框架的任务处理系统的框图。如图1所示，该基于深度学习框架的任务处理系统100可以包括终端110、网络120和数据库130，终端110中可以包括执行指令操作的处理器。

在一些实施例中，终端110可以包括处理器。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction-set Processor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing，RISC)、或微处理器等，或其任意组合。在一些实施例中，终端110可以在具有本申请中图2所示的一个或多个组件的电子设备200上实现。

网络120可以用于信息和/或数据的交换。在一些实施例中，终端110可以通过网络120向数据库130发送信息和/或数据，终端110可以通过网络120向数据库130获取信息和/或数据。在一些实施例中，网络120可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched TelephoneNetwork，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。在一些实施例中，网络120可以包括一个或多个网络接入点。

在一些实施例中，在一些实施例中，数据库130可以直接连接到基于深度学习框架的任务处理系统100中的终端110上；或者，在一些实施例中，数据库130也可以是终端110的一部分。

例如，终端110可以具有电子设备200的功能，可用于执行本申请所提供的基于深度学习框架的任务处理方法中所涉及的各功能。也就是说，在实际应用中，执行本申请所提供的基于深度学习框架的任务处理方法的电子设备200，其实际的产品形态可以为服务器，也可以为终端设备如终端110。如下主要以终端110执行为例进行说明，服务器执行的过程与此类似，不再赘述。

电子设备200可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的深度学习框架的任务处理方法。

例如，电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口250。

为了便于说明，在电子设备200中仅描述了一个处理器。然而，应当注意，本申请中的电子设备200还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备200的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。

图3示出了本申请一些实施例提供的一种深度学习框架的结构示意图，本申请实施例提出一种新的深度学习框架，如图3所示，该深度学习框架可以包括：工作核心层、模组层、用户层和底层。

其中，工作核心层可以为用Workflow Core表示，工作核心层是深度学习框架的核心，负责深度学习框架中待处理任务的组织和调度。模组层可以用Module表示，模组层可以由多个功能模块组成，每个模块负责一类具体的功能。用户层可以用User-Level表示，用户层中可以预设待处理任务，用户也可以在此层定义待处理任务和模型。底层可以用Low-Level表示，底层可以为深度学习框架的支持层，底层为深度学习框架的外部依赖。模组层、用户层和底层均可以为工作核心层的组织和调度提供支撑作用。

在本申请实施例中，如图3所示，工作核心层可以包括引擎模块、工作流程模块、工作流程运行模块。引擎模块可以用Engine来表示，引擎模块可以作为深度学习框架的入口接受、加载配置和启动工作流程等。工作流程模块可以用Workflow DAG(Directed acyclicgraph，有向无环图)来表示，工作流程模块可以用于生成工作流程的DAG。工作流程运行模块可以用Workflow Runner表示，工作流程运行模块可以用于对每个待处理任务的执行。

如图3所示，模组层可以包括：功能模块、任务模块、配置管理模块、注册管理模块、模型构架模块和实用程序模块等。其中，功能模块可以用于对特征的自动化处理，该特征的自动化处理可以包括但不限于：特征合并、特征自动编码、类型转换、归一化以及存储格式转换等。任务模块可以用于提供任务接口及相关功能，还可以用于提供部分待处理任务以便于辅助构建Pipeline(管线)框架。任务模块可以用于提供配置管理功能，配置管理的内容可以包括但不限于：提供配置参数定义、生成、解析以及配置模板渲染等。注册管理模块可以用于提供注册管理功能，包括提供待处理任务和模型的注册功能，以使待处理任务和模型可以以插件的形式集成到深度学习框架中。模型构架模块可以用于对深度学习模型的接口和组件进行高层封装。实用程序模块可以用于提供工具支持功能，例如，可以提供文件、日期、Spark(一种分布式计算引擎)接入和HDFS(Hadoop Distributed File System，分布式文件系统)访问等支持。

需要说明的是，功能模块可以用Feature Module表示，任务模块可以用TaskModule表示，配置管理模块可以用Configuration Manager表示，注册管理模块可以用Register Manager表示，模型构架模块可以用Model Framework表示，实用程序模块可以用Utils表示。

另外，如图3所示，用户层中包括预定义任务可以应用于大部分深度学习框架的场景，用户层中还可以包括用户自定义任务，可以将用户自定义的任务和/或预定义任务作为待处理任务。由于模型具有多样性，用户层中可以不包括预定义的模型，可以将用户自定义模型作为预定义的模型。用户自定义的任务和模型可以通过接口实现，该接口可以被深度学习框架所识别。

此外，底层可以基于另一深度学习框架、分布式计算引擎和目标存储架构。例如，该底层基于的深度学习框架可以为Tensorflow，分布式计算引擎可以为Spark，目标存储架构可以为Hadoop。

在本申请实施例中，深度学习框架可以表示为DLFlow(Deep Learning Flow)框架。DLFlow框架可以适用于离线生产环境中的深度学习任务，提供了从数据编码到模型训练的完整流程。DLFlow框架运行时会根据配置生成所有待处理任务的DAG，该DAG中包含了每一项待处理任务的前后依赖关系。任务执行时会根据DAG执行每一项待处理任务，以保证Pipeline中每一项任务都能在正确的时间点和位置执行。

如下结合多个实施例对本申请实施例所提供的基于深度学习框架的任务处理方法进行解释说明。图4示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图，如图4所示，该方法可以包括：

S101、获取用户输入的任务配置信息。

其中，任务配置信息可以包括：至少一个待处理任务的指示，待处理任务可以为深度学习框架中预配置任务或已注册任务。

在一些实施方式中，用户可以通过深度学习框架中的用户层输入任务配置信息，用户层可以获取该任务配置信息，工作核心层的引擎模块可以通过用户层获取该用户输入的配置信息。其中，用户输入的任务配置信息中可以包括至少一个任务项，每个任务项可以对应的深度学习框架中的一个任务实体。

需要说明的是，深度学习框架中可以预配置有多个任务，用户可以从预配置的任务中确定待处理任务，当深度学习框架中不包括待处理任务时，用户可以自定义待处理任务，深度学习框架可以对该自定义待处理任务进行注册，得到已注册任务。预配置的任务也可以以注册的方式配置于深度学习框架中。

S102、根据任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑。

其中，处理逻辑可以包括：处理顺序、各待处理任务与其他待处理任务之间的逻辑关系。

另外，深度学习框架可以通过模组层中的配置管理模块、工作流程模块和注册管理模块，根据任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑。

在一种可能的实施方式中，配置管理模块可以加载任务配置信息，继而抽取深度学习框架中目标参数，工作流程模块可以根据目标参数初始化处理逻辑，注册管理模块可以获取预设的任务逻辑关系，工作流程模块可以根据该预设的任务逻辑关系可以生成待处理任务的处理逻辑。

需要说明的是，上述目标参数可以为sys-level的配置。

S103、按照处理逻辑依次处理各待处理任务。

其中，处理逻辑可以明确的表示各待处理任务的执行的时间和位置。

在本申请实施例中，深度学习框架可以通过工作流程运行模块按照处理逻辑依次处理各待处理任务。工作流程运行模块可以对处理逻辑进行初始化并依次处理各待处理任务，以使各待处理任务可以在准确的时间和位置被执行，从而实现了基于一个深度学习框架对至少一个待处理任务的处理。

综上所述，本申请实施例提供一种基于深度学习框架的任务处理方法，获取用户输入的任务配置信息，任务配置信息包括：至少一个待处理任务的指示，其中，待处理任务为深度学习框架中预配置任务或已注册任务；根据任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑，其中，处理逻辑包括：处理顺序、各待处理任务与其他待处理任务之间的逻辑关系；按照处理逻辑依次处理各待处理任务。该深度学习框架的任务处理方法可以根据任务配置信息和预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑，根据该处理逻辑依次对至少一个待处理任务进行处理，从而可以实现基于一个深度学习框架对至少一个待处理任务的处理，达到了整体管理的目的，提升执行效率。

图5示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图，如图5所示，该方法还可以包括：

S201、获取用户的注册信息。

其中，注册信息包括：用户自定义任务(User Define Task,UDT)或用户自定义模型；注册信息符合深度学习框架中的用户自定义模板。深度学习框架可以通过注册管理模块获取用户的注册信息。

在本申请实施例中，深度学习框架中具有注册与配置机制，图6示出了本申请一些实施例提供的一种深度学习框架中注册与配置过程的框图，如图6所示，注册管理模块可以包括任务注册和模型注册。其中，任务注册可以将用户自定义任务和预定义任务注册至深度学习框架中，模型注册可以将用户自定义模型注册至深度学习框架中，从而深度学习框架可以获取用户的注册信息。

S202、根据注册信息在深度学习框架中对应添加新的已注册任务或新的已注册模型。

其中，深度学习框架可以通过注册管理模块，根据注册信息在深度学习框架中对应添加新的已注册任务或新的已注册模型。如图6所示，对于任务或者模型的配置信息，可以定义在配置管理模型中，配置管理模块可以对所有的配置信息进行管理。

需要说明的是，本发明实施例中，任务注册可以对多个用户自定义任务和多个预定义任务同时注册，也可以按照预设顺序进行注册；同理，模型注册可以对多个用户自定义模型同时注册，也可以按照预设顺序进行注册，本发明实施例对此不进行具体限制。

另外，当用户自定义任务被注册至深度学习框架中后，可以通过配置项生成任务实体然后被构建到处理逻辑中，这可以使得任务类型更加的灵活性。当深度学习框架中预定义任务无法满足用户的需求时，用户可以通过自定义任务的方式来扩展深度学习框架功能，使得深度学习框架可以支持多种类型任务的处理，提高了用户体验。

可选地，上述S102的过程，可以包括：根据任务配置信息、以及预设的任务逻辑关系，生成有向无环图。

其中，各待处理任务作为有向无环图的节点，每个节点的标号用于标识处理顺序，节点之间的有向箭头用于标识各待处理任务的逻辑依赖关系。节点之间的逻辑依赖关系可以作为有向无环图的边。

在一些实施方式中，深度学习框架中可以预设有向无环图的起点，即Root节点，深度学习框架可以根据任务配置信息、以及预设的任务逻辑关系，将各待处理任务作为有向无环图的节点，并对每个节点进行标号，确定节点之间的有向箭头，继而根据起点、节点、标号和有向箭头生成有向无环图。

另外，深入学习框架还可以检测有向无环图中是否存在循环引用，若检测到有向无环图中存在循环引用时，深度学习框架可以进行报错。

综上所述，深度学习框架根据任务配置信息、以及预设的任务逻辑关系，生成有向无环图，该有向无环图可以明确表示待处理任务之间的依赖关系和处理顺序，便于深度学习框架对至少一个待处理任务的处理。

图7示出了本申请一些实施例提供的一种有向无环图的结构示意图，如图7所示，该有向无环图中可以包括节点0、节点1、节点2、节点3、节点4、节点5和节点6。

其中，节点0可以为起点，节点1、节点2、节点4、节点6可以为预定义任务，节点3和节点5可以为用户自定义任务。节点1可以为特征编码任务、节点2可以为模型训练任务、节点4可以为评估任务、节点6可以为基于模型的数据预测任务。

如图7所示，节点0与节点1、节点2、节点4、节点6之间具有依赖关系；节点1与节点2、节点6、节点5之间具有依赖关系；节点2与节点4、节点6、节点3之间具有依赖关系；节点3与节点4、节点5之间具有依赖关系；节点5与节点6之间具有依赖关系。需要说明的是，箭头方向表示数据输出方向，即数据输出端指向输入端，输入端接收输出端的数据，在后续任务中可能会使用收到的数据。

在本申请实施例中，节点0为深度学习框架的默认起点，节点0可以用于加载预设固定参数，其不存在对其他节点的依赖。如图7所示，深度学习框架可以通过拓扑排序生成每个节点的编号，当工作流程运行模块对各待处理任务执行时，可以根据每个节点的编号依次执行，则多个节点的执行顺序可以依次为节点0、节点1、节点2、节点4、节点6。

图8示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图，如图8所示，上述根据任务配置信息、以及预设的任务逻辑关系，生成有向无环图的过程，可以包括：

S301、根据任务配置信息，调用任务配置信息对应的任务实体。

S302、根据任务实体以及预设的任务逻辑关系，生成有向无环图。

在本发明实施例中，配置管理模块可以根据任务配置信息加载配置，并抽取sys-level的配置(深度学习框架中的必需参数)，工作流程模块可以根据sys-level的配置初始化有向无环图，初始化有向无环图时会搜索并加载运行过程中需要的任务实体和模型实体，从该任务实体和模型实体中抽取其中定义的配置信息，即预设的任务逻辑关系，从而可以生成有向无环图。

另外，在生成有向无环图之后，配置管理模块可以根据新的配置项更新所有的配置，对所有的配置进行解析从而可以得到配置信息，工作流程模块可以解析有向无环图，确定待处理任务的执行列表，继而工作流程运行模块可以初始化并执行至少一个待处理任务。

综上所述，根据任务配置信息，调用任务配置信息对应的任务实体；并根据任务实体以及预设的任务逻辑关系，生成有向无环图，可以使得有向无环图中可以涵盖至少一个待处理任务，采用该方式生成的有向无环图也更加准确。

可选地，至少一个待处理任务包括下述一项或多项的组合：特征处理、特征编码、模型训练、基于模型的数据预测。即本申请实施例提供的深度学习框架可以将特征处理、特征编码、模型训练、基于模型的数据预测融合在一起，无需使用不同的深度学习框架完成。当然，待处理任务还可以包括其它类型的待处理任务，本申请实施例对此不进行具体限制。

可选地，至少一个待处理任务包括特征处理和特征编码。图9示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图，如图9所示，上述S103可以包括：

S401、将根据数据源获取的样本数据进行有效性检测，获取检测合格的样本数据。

其中，数据源的数量可以为1个或多个，多个数据源可以为异构的数据源。

在实际应用中，模型的特征可以源于多个不同的数据源产出方，会存在上游延迟等不可控因素，因此，在根据数据源获取的样本数据时，需要对样本数据进行有效性检测，并在必要时对样本数据进行降级，以获取检测合格的样本数据。

S402、对样本数据进行特征处理，获取特征合并后的特征文件。

其中，深度学习框架中具有配置文件，用户输入的任务配置信息也存储于该配置文件中，该配置文件中还包括算子(Operator)执行顺序。

在一些实施方式中，深度学习框架在确定样本数据的分区后，可以根据配置文件中的算子执行顺序，将各样本数据的主键合并到样本集中，实现对于特征的合并，从而可以获取特征合并后的特征文件。该特征文件也可以成为特征宽表，该特征宽表的格式可以为预设格式，例如，该预设格式可以为spark dataframe(分布式计算引擎数据框)格式。

另外，上述算子执行顺序中的目标算子还可以用于对特征进行二次处理，二次处理的内容可以包括但不限于：缺失值统计和缺失值填充等。

需要说明的是，该特征合并后的特征文件可以作为特征模型存储至实用程序模块所支持的HDFS中，特征合并后的特征文件可以在处理基于模型的数据预测任务时复用。

S403、将特征文件作为特征编码的输入，获取编码后的特征向量。

其中，编码后的特征向量可以直接作为模型输入的特征；特征编码可以对特征文件进行向量化映射。

在本申请实施例中，深度学习框架可以根据配置文件确定分域信息，若配置文件中不包括分域信息时，可以将特征文件中的所有特征划分至预设域中，并对分域后的特征以域为单位进行编码，该编码的过程可以包括：数据类型转换、标记化、归一化，编码后的特征向量可以为每个域的特征向量，其中，每个域中的数字类型特征和类别类型特征可以独立输出。

需要说明的是，深度学习框架对配置文件进行分域，继而对分域后的特征进行编码，使得深度学习框架对于特殊得特征也可以处理，可以扩大对于特征处理的范围。

在一些实施方式中，特征文件过特征编码处理后会生成目标结构，该目标结构可以用于对特征编码转换进行记录，该目标结构可以确保记录的特征顺序不变，因而可以基于该目标结构进行特征编码和模型输入的构建。例如，该目标结构可以为Fmap(Featuremap，特征映射)，Fmap可以具有三级结构，三级结构分别用于记录特征分桶(bucket)、分域(field)、和特征本身的信息。

需要说明的是，特征桶可以根据用户指定，按照预设规则将特征分类；分域对不同数据类型的特征进行划分，不同数据类型的特征具有对应的处理方式。

另外，对特征文件进行编码操作后，会生成相应的编码信息，该编码信息可以包括：特征名(Feature Name)、特征类型(Type)、占位长度(Size)、维度形状(Shape)、桶内偏移量(Offset)、编码信息(Metadata)和编码标识(Encode Flag)等。

在实际应用中，用户仅需要关注特征分桶即可，分域和特征本身的信息可以通过深度学习框架自动生成。用户可以针对每个特征分桶设置独立的特征、归一化方式以及部分归一化参数。分桶的配置信息会在执行编码时被加载，若用户未设置分桶信息时，则深度学习框架可以将所有的特征划分至默认桶。

可选地，至少一个待处理任务还包括：模型训练；上述S103可以包括：将特征向量作为待训练模型的输入，采用图形处理器GPU(Graphics Processing Unit)单机进行模型训练。

其中，模型训练所需的超参数可以通过定义配置项的形式由外部配置提供。另外，本申请实施例提供的新的深度学习框架可以基于另一深度学习框架进行模型训练。例如，该基于的深度学习框架可以为Tensorflow，Tensorflow的版本可以支持2.0版本或以上版本。

在一些实施方式中，可以在HDFS上的预设数据集中构建模型训练的数据，例如，该预设数据集为TFRecords Dataset(TFRecords数据集，TFRecords为一种数据格式)。深度学习框架对该训练数据进行解包，继而解包的数据可以用于模型训练。数据可以存放于HDFS，可以减小本地存储的压力。另外，当训练数据的数量大于预设阈值时，可以对训练数据进行采样，以确保模型训练时长控制在预设时间范围内。

需要说明的是，当模型训练完成后，深度学习框架可以对模型、模型参数和优化器参数进行保存。当启动下一次模型训练时，若存在模型训练的存档，则可以加载该存档并继续模型训练。

综上所述，将特征向量作为待训练模型的输入，采用GPU进行模型训练，GPU的性能特性可以实现快速的训练模型，以实现快速完成模型训练的任务。本申请中，将GPU和Spark集群结合起来，可以实现对于大规模数据下至少一个待处理任务的深度学习离线计算。

可选地，至少一个待处理任务还包括：基于模型的数据预测；上述S103可以包括：将模型训练后的模型分发至各个工作节点，通过各个工作节点将待预测数据通过模型进行预测，获取预测结果。

其中，预测方式可以为分布式预测。

在一种可能的实施方式中，在基于模型进行数据预测时，可以会将模型分发到每个工作节点上，待预测数据可以从HDFS上载入，每个工作节点直接对自身节点的RDD分区进行预测，深度学习框架可以将RDD分区转换成TFRecords，得到预测结果。

另外，预测结果可以存储到HDFS中。

可选地，图10示出了本申请一些实施例提供的一种基于深度学习框架的任务处理方法的流程示意图，如图10所示，上述S102的过程可以包括：

S501、根据任务配置信息，获取深度学习框架的运行必要参数。

在本申请实施例中，如图6所示，任务配置信息由配置管理模块统一处理，任务配置信息可以来源于是外部定义的配置文件、深度学习框架启动时设置的命令行参数、任务或模型中定义的参数信息。各个参数可以定义默认值，并且各个参数之间允许相互引用，从而可以动态的构建新参数，此外可以设置时间模板，以便于动态的解析时间类型的参数。

其中，任务配置信息可以被划分为预设数量个运行必要参数，例如，可以被划分为3个运行必要参数，分别可以为：系统(system)参数、必选(require)参数和可选(option)参数。

需要说明的是，系统参数是深度学习框架运行的必要参数，响应用户的启动框架操作可以获取用户输入的系统参数值，系统参数不允许引用其他参数和设置模板；必选参数是任务或模型运行必要的参数，用户通过可以配置文件或命令行参数提供必选参数；可选参数可以在定义时提供默认值，用户使用过程中可以不配置该参数。

S502、根据运行必要参数，启动深度学习框架，并基于任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑。

在本申请实施例中，深度学习框架可以加载任务配置信息，继而抽取深度学习框架中运行必要参数，对运行必要参数进行解析确定参数关系，根据该参数关系可以生成待处理任务的处理逻辑。

综上所述，本申请实施例中，由于运行参数中具有参数之间的引用关系，因此，深度学习框架可以基于必要运行参数确定处理逻辑，可以避免相互引用或者循环引用的情况，使得确定的处理逻辑更加可靠。

图11示出了本申请一些实施例提供的一种基于深度学习框架的任务处理装置的结构示意图，如图11所示，该装置可以包括：

获取模块1101，用于获取用户输入的任务配置信息，任务配置信息包括：至少一个待处理任务的指示，其中，待处理任务为深度学习框架中预配置任务或已注册任务；

生成模块1102，用于根据任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑，其中，处理逻辑包括：处理顺序、各待处理任务与其他待处理任务之间的逻辑关系；

处理模块1103，用于按照处理逻辑依次处理各待处理任务。

可选地，装置还包括：

第一获取模块，用于获取用户的注册信息，注册信息包括：用户自定义任务或用户自定义模型，其中，注册信息符合深度学习框架中的用户自定义模板；

添加模块，用于根据注册信息在深度学习框架中对应添加新的已注册任务或新的已注册模型。

可选地，生成模块1102，还用于根据任务配置信息、以及预设的任务逻辑关系，生成有向无环图，其中，各待处理任务作为有向无环图的节点，每个节点的标号用于标识处理顺序，节点之间的有向箭头用于标识各待处理任务的逻辑依赖关系。

可选地，生成模块1102，还用于根据任务配置信息，调用任务配置信息对应的任务实体；根据任务实体以及预设的任务逻辑关系，生成有向无环图。

可选地，至少一个待处理任务包括下述一项或多项的组合：特征处理、特征编码、模型训练、基于模型的数据预测。

可选地，至少一个待处理任务包括特征处理、特征编码；处理模块1103，还用于将根据数据源获取的样本数据进行有效性检测，获取检测合格的样本数据；对样本数据进行特征处理，获取特征合并后的特征文件；将特征文件作为特征编码的输入，获取编码后的特征向量。

可选地，至少一个待处理任务还包括：模型训练；处理模块1103，还用于将特征向量作为待训练模型的输入，采用图形处理器GPU单机进行模型训练。

可选地，至少一个待处理任务还包括：基于模型的数据预测；处理模块1103，还用于将模型训练后的模型分发至各个工作节点，通过各个工作节点将待预测数据通过模型进行预测，获取预测结果。

可选地，生成模块1102，还用于根据任务配置信息，获取深度学习框架的运行必要参数；根据运行必要参数，启动深度学习框架，并基于任务配置信息、以及预设的任务逻辑关系，生成至少一个待处理任务的处理逻辑。

上述装置可用于执行上述方法实施例提供的方法，具体实现方式和技术效果类似，这里不再赘述。该装置可以集成于终端或服务器等设备，本申请中不作限制。

图12示出了本申请实施例提供的另一种电子设备的结构示意图，如图12所示，该电子设备包括：处理器1201和存储器1202，其中：存储器1202用于存储程序，处理器1201调用存储器1202存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

该装置可以集成于服务终端或服务器等设备，本申请中不作限制。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述图1至图10任一所示的方法实施例。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于深度学习框架的任务处理方法，其特征在于，包括：

按照所述处理逻辑依次处理各所述待处理任务。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述任务配置信息、以及预设的任务逻辑关系，生成有向无环图，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述至少一个待处理任务包括下述一项或多项的组合：特征处理、特征编码、模型训练、基于模型的数据预测。

6.根据权利要求5所述的方法，其特征在于，所述至少一个待处理任务包括所述特征处理、所述特征编码；所述按照所述处理逻辑依次处理各所述待处理任务，包括：

7.根据权利要求6所述的方法，其特征在于，所述至少一个待处理任务还包括：所述模型训练；所述按照所述处理逻辑依次处理各所述待处理任务，包括：

8.根据权利要求7所述的方法，其特征在于，所述至少一个待处理任务还包括：所述基于模型的数据预测；所述按照所述处理逻辑依次处理各所述待处理任务，包括：

9.根据权利要求1或3所述的方法，其特征在于，所述根据所述任务配置信息、以及预设的任务逻辑关系，生成至少一个所述待处理任务的处理逻辑，包括：

10.一种基于深度学习框架的任务处理装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1-9任一所述的基于深度学习框架的任务处理方法的步骤。

12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-9任一所述的基于深度学习框架的任务处理方法的步骤。