CN114936085A - 基于深度学习算法的etl调度方法及装置 - Google Patents

基于深度学习算法的etl调度方法及装置 Download PDF

Info

Publication number
CN114936085A
CN114936085A CN202210856656.8A CN202210856656A CN114936085A CN 114936085 A CN114936085 A CN 114936085A CN 202210856656 A CN202210856656 A CN 202210856656A CN 114936085 A CN114936085 A CN 114936085A
Authority
CN
China
Prior art keywords
task
scheduling
scheduled
etl
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210856656.8A
Other languages
English (en)
Inventor
吴伟华
林金怡
李韩
邹西山
庞文刚
文其瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom Online Information Technology Co Ltd
China Unicom WO Music and Culture Co Ltd
Original Assignee
China Unicom Online Information Technology Co Ltd
China Unicom WO Music and Culture Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom Online Information Technology Co Ltd, China Unicom WO Music and Culture Co Ltd filed Critical China Unicom Online Information Technology Co Ltd
Priority to CN202210856656.8A priority Critical patent/CN114936085A/zh
Publication of CN114936085A publication Critical patent/CN114936085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种基于深度学习算法的ETL调度方法及装置，该方法包括：获取包括有多个待调度ETL任务的待调度任务组；确定每一所述待调度ETL任务的任务执行参数；将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。可见，本发明能够实现无需人工干涉的智能调度，可以确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。

Description

基于深度学习算法的ETL调度方法及装置
技术领域
在本发明涉及计算机技术领域，尤其涉及一种基于深度学习算法的ETL调度方法及装置。
背景技术
ETL（Extract-Transform-Load，数据抽取加载和转换）作业通常由一个集中的调度平台控制他们的运行，决定执行顺序，进行错误捕捉和处理。较为原始的ETL系统在进行ETL任务调度时，就是做定时控制，定时调起相应的程序或者存储过程。但是这种方式过于原始，只能进行简单的调起动作，无法实现流程依赖行为，同时执行的流程控制能力也弱，错误处理能力几乎没有，只适合于极其简单的情况。对于较为完善的ETL系统，往往需要具有以下几个能力：
1、流程步骤控制能力：调度平台必须能够控制整个ETL流程，进行集中化管理，不能有流程或执行设备游离于系统外部。
2、系统的划分和前后流程的依赖：由于整个ETL系统里面可能跨越数十个业务系统，开发人员有数十拨人，必须支持按照业务系统对ETL流程进行划分管理的能力，同时必须具有根据流程依赖进行调度的能力，使得适当的流程能在适当的时间调起。
3、合理的调度算法：同一时间调起过多流程可能造成对源数据库和ETL服务器还有目标数据库形成较大负载压力，故必须有较为合理的调度算法。
在这几个需要的能力当中，最为复杂的则是：合理的调度算法。常用的基本调度算法有：顺序调度、定时调度、手动调度。但是这些常用的调度算法，在大规模的分布式集群ETL中，很难满足系统的需求，容易造成分布式系统资源的浪费，负载不均衡等情况，这严重制约了ETL的大规模应用。
发明内容
在本发明所要解决的技术问题在于，提供一种基于深度学习算法的ETL调度方法及装置，可以有效提高ETL任务调度的效率，降低调度成本。
为了解决上述技术问题，本发明第一方面公开了一种基于深度学习算法的ETL调度方法，所述方法包括：
获取包括有多个待调度ETL任务的待调度任务组；
确定每一所述待调度ETL任务的任务执行参数；
将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；
根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。
作为一个可选的实施方式，在本发明第一方面中，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。
作为一个可选的实施方式，在本发明第一方面中，所述任务调度参数包括调度任务类型和调度任务线程数量的至少一种。
作为一个可选的实施方式，在本发明第一方面中，在所述将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数之前，所述方法还包括：
根据小波变换算法，对所述任务执行参数进行数据去噪处理；
和/或，
对所述任务执行参数进行归一化数据处理；
以及，所述历史任务的任务执行参数用于训练所述调度预测模型之前进行了所述数据去噪处理和/或所述归一化数据处理。
作为一个可选的实施方式，在本发明第一方面中，所述调度预测模型为LTSM网络算法模型，以及所述调度预测模型根据以下步骤训练得到：
收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据集；
对所述训练数据集中的所述历史任务执行参数进行所述数据去噪处理和所述归一化数据处理；
构建一个包括256个神经元的LSTM网络算法模型，将优化函数设为Adam函数，梯度值设为1，初始学习率为0.005，并根据所述训练数据集进行100个轮的训练，之后再通过乘以因子0.2来降低学习率；
在训练中对所述LSTM网络算法模型的调节参数进行调节；所述调节参数包括批量大小、窗口大小、节点数量、学习率和训练步长中的至少一种；
根据均方根误差，在训练中对所述LSTM网络算法模型进行模型评估，直至评估结果显示所述LSTM网络算法模型达到收敛，得到训练好的所述调度预测模型。
作为一个可选的实施方式，在本发明第一方面中，所述根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行，包括：
将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略；所述任务具体调度策略用于指示符合所述任务调度参数的所述多个待调度ETL任务中的每一ETL任务的执行次序；
根据所述任务具体调度策略，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。
作为一个可选的实施方式，在本发明第一方面中，所述动态规划模型为蚁群算法、人工免疫算法或粒子群算法；所述将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略，包括：
根据所述任务调度参数，从所述多个待调度ETL任务确定出符合所述任务调度参数的多个候选ETL任务；
确定不同类型的所述候选ETL任务对应的任务执行设备、任务资源成本和任务时间成本；
确定目标函数为任务执行方案的执行成本达到最小；所述执行成本为所述任务执行方案执行时的总资源成本和总时间成本之和；所述任务执行方案为所述多个候选ETL任务依照一定的执行次序所形成的执行方案；
确定约束条件为所述任务执行方案中的多个候选ETL任务的执行次序能够满足所有对应的所述任务执行设备的启动顺序条件；所述启动顺序条件用于限定任一所述任务执行设备能否在任一其他所述任务执行设备之前或之后启动；
根据所述目标函数和所述约束条件，基于所述动态规划模型，演算出所述多个候选ETL任务对应的最优任务执行方案；
将所述最优任务执行方案确定为所述待调度任务组对应的任务具体调度策略。
作为一个可选的实施方式，在本发明第一方面中，在所述根据所述任务具体调度策略，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行之后，所述方法还包括：
实时收集对所述待调度任务组中的所述多个待调度ETL任务进行调度执行时的任务执行参数，得到策略执行时的任务执行参数；
根据所述策略执行时的任务执行参数和所述任务具体调度策略，对所述调度预测模型进行进一步的训练优化。
本发明第二方面公开了一种基于深度学习算法的ETL调度装置，所述装置包括：
任务获取模块，用于获取包括有多个待调度ETL任务的待调度任务组；
参数确定模块，用于确定每一所述待调度ETL任务的任务执行参数；
调度预测模块，用于将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；
调度执行模块，用于根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。
作为一个可选的实施方式，在本发明第二方面中，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。
作为一个可选的实施方式，在本发明第二方面中，所述任务调度参数包括调度任务类型和调度任务线程数量的至少一种。
作为一个可选的实施方式，在本发明第二方面中，所述装置还包括数据预处理模块，用于在所述调度预测模块将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数之前，执行以下步骤：
根据小波变换算法，对所述任务执行参数进行数据去噪处理；
和/或，
对所述任务执行参数进行归一化数据处理；
以及，所述历史任务的任务执行参数用于训练所述调度预测模型之前进行了所述数据去噪处理和/或所述归一化数据处理。
作为一个可选的实施方式，在本发明第二方面中，所述调度预测模型为LTSM网络算法模型，以及所述装置还包括训练模块，用于执行以下步骤以训练得到所述调度预测模型：
收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据集；
对所述训练数据集中的所述历史任务执行参数进行所述数据去噪处理和所述归一化数据处理；
构建一个包括256个神经元的LSTM网络算法模型，将优化函数设为Adam函数，梯度值设为1，初始学习率为0.005，并根据所述训练数据集进行100个轮的训练，之后再通过乘以因子0.2来降低学习率；
在训练中对所述LSTM网络算法模型的调节参数进行调节；所述调节参数包括批量大小、窗口大小、节点数量、学习率和训练步长中的至少一种；
根据均方根误差，在训练中对所述LSTM网络算法模型进行模型评估，直至评估结果显示所述LSTM网络算法模型达到收敛，得到训练好的所述调度预测模型。
作为一个可选的实施方式，在本发明第二方面中，所述调度执行模块根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行的具体方式，包括：
将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略；所述任务具体调度策略用于指示符合所述任务调度参数的所述多个待调度ETL任务中的每一ETL任务的执行次序；
根据所述任务具体调度策略，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。
作为一个可选的实施方式，在本发明第二方面中，所述动态规划模型为蚁群算法、人工免疫算法或粒子群算法；所述调度执行模块将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略的具体方式，包括：
根据所述任务调度参数，从所述多个待调度ETL任务确定出符合所述任务调度参数的多个候选ETL任务；
确定不同类型的所述候选ETL任务对应的任务执行设备、任务资源成本和任务时间成本；
确定目标函数为任务执行方案的执行成本达到最小；所述执行成本为所述任务执行方案执行时的总资源成本和总时间成本之和；所述任务执行方案为所述多个候选ETL任务依照一定的执行次序所形成的执行方案；
确定约束条件为所述任务执行方案中的多个候选ETL任务的执行次序能够满足所有对应的所述任务执行设备的启动顺序条件；所述启动顺序条件用于限定任一所述任务执行设备能否在任一其他所述任务执行设备之前或之后启动；
根据所述目标函数和所述约束条件，基于所述动态规划模型，演算出所述多个候选ETL任务对应的最优任务执行方案；
将所述最优任务执行方案确定为所述待调度任务组对应的任务具体调度策略。
作为一个可选的实施方式，在本发明第二方面中，所述装置还包括重优化模块，用于在所述调度执行模块根据所述任务具体调度策略，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行之后，执行以下步骤：
实时收集对所述待调度任务组中的所述多个待调度ETL任务进行调度执行时的任务执行参数，得到策略执行时的任务执行参数；
根据所述策略执行时的任务执行参数和所述任务具体调度策略，对所述调度预测模型进行进一步的训练优化。
本发明第三方面公开了另一种基于深度学习算法的ETL调度装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于深度学习算法的ETL调度方法中的部分或全部步骤。
本发明第四方面公开了一种用于海关分货的便携式终端，包括图形码扫描装置和数据处理装置，其中，所述数据处理装置用于执行本发明第一方面公开的基于深度学习算法的ETL调度方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，公开了一种基于深度学习算法的ETL调度方法及装置，该方法包括：获取包括有多个待调度ETL任务的待调度任务组；确定每一所述待调度ETL任务的任务执行参数；将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。可见，本发明实施例利用了训练好的预测模型来预测调度参数，能够实现无需人工干涉的智能调度，可以确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于深度学习算法的ETL调度方法的流程示意图。
图2是本发明实施例公开的一种基于深度学习算法的ETL调度装置的结构示意图。
图3是本发明实施例公开的另一种基于深度学习算法的ETL调度装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第二”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于深度学习算法的ETL调度方法及装置，利用了训练好的预测模型来预测调度参数，能够实现无需人工干涉的智能调度，可以确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于深度学习算法的ETL调度方法的流程示意图。其中，图1所描述的基于深度学习算法的ETL调度方法应用于数据处理芯片、处理终端或处理服务器（其中，该处理服务器可以为本地服务器或云服务器）中。如图1所示，该基于深度学习算法的ETL调度方法可以包括以下操作：
101、获取包括有多个待调度ETL任务的待调度任务组。
本发明中所述的ETL任务可以为不同类型的任务，此处的类型可以用于指示任务对应的具体的数据操作的类型，例如是抽取操作、转换操作还是载入操作，也可以用于指示任务对应的数据的类型，例如是交通业务数据还是物流业务数据，还可以用于指示任务对应的数据源或数据仓库的类型，例如是哪一个特定的数据源或将被载入哪一个特定的数据仓库，本发明不做限定。
可选的，不同类型的任务可能由同一设备执行，例如同一处理器的不同线程执行，或是直接由不同设备执行，本发明不做限定。
102、确定每一待调度ETL任务的任务执行参数。
可选的，任务执行参数可以包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。
可选的，任务执行参数可以为待调度ETL任务在最近的历史时间段执行时的执行参数，或是预计的执行参数。
103、将所有待调度ETL任务的任务执行参数输入至训练好的调度预测模型中，以预测得到待调度任务组的任务调度参数。
具体的，调度预测模型为神经网络模型，其根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到。
可选的，任务调度参数包括调度任务类型和调度任务线程数量的至少一种。可选的，任务调度参数用于指示整个待调度任务组在调度时的总的调度参数，例如一共包括有几种调度任务类型，一共可以同时调度几个任务线程数量等。
104、根据任务调度参数，对待调度任务组中的多个待调度ETL任务进行调度执行。
可见，上述发明实施例利用了训练好的预测模型来预测调度参数，能够实现无需人工干涉的智能调度，可以确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，在上述步骤中的，将所有待调度ETL任务的任务执行参数输入至训练好的调度预测模型中，以预测得到待调度任务组的任务调度参数之前，该方法还包括：
根据小波变换算法，对任务执行参数进行数据去噪处理。
因为本发明的方案需要基于历史数据处理，针对具有时间序列的数据处理问题，小波分析在处理多尺度空间和时间上的数据特征和趋势具有很强的泛化能力。小波变换算法具有处理非平稳的历史作业调度数据的能力，因此用小波变换进行数据去噪。小波变换的关键特性是可以同时分析特定时间序列的频率分量，小波在处理高度不规则的历史数据时很有用。基本原理思想是利用尺度函数表示原始信号，随着尺度级的下降，尺度越来越大，对原始信号的表示也越来越粗糙模糊，和原始信号的差异越来越大时引入小波函数来对尺度函数表示部分和原始信号之间的差异进行表示，最终尺度函数+小波函数可以精确地表示原信号；施加在尺度函数和小波函数上的系数就是小波变换的结果，用这些系数，可以复原出原信号；可以理解为尺度函数大致粗糙地表示了原始信号中，而小波函数则精确的描述了两者之间的差异；原始信号可以看作是最高（精细）的尺度，随着尺度级逐渐下降，尺度函数从最精细的表示逐渐变得粗糙，在这过程中，小波函数不断地表示两者之间的差异部分，小波函数自身也不断地变得粗糙；这样做的优势是能对时间（空间）频率的局部化分析，通过伸缩平移运算对信号（函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分。小波变换公式如下：
Figure 332791DEST_PATH_IMAGE002
。
从上述公式可以看出，小波变换得到的数据有两个变量：尺度和平移量，尺度控制小波函数的伸缩，平移量控制小波函数的平移，尺度就对应于频率（反比），平移量就对应于时间。
进一步的，历史任务的任务执行参数在用于训练该调度预测模型之前同样进行了上述数据去噪处理，也即利用了小波变换算法进行了数据去噪，以使得模型的训练效果更佳。
可见，通过该可选的实施方式，可以根据小波变换算法，对任务执行参数进行数据去噪处理，以使得任务执行参数中的时间特性数据被有效地去噪，则在后续进行预测时，可以有效确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，在上述步骤中的，将所有待调度ETL任务的任务执行参数输入至训练好的调度预测模型中，以预测得到待调度任务组的任务调度参数之前，该方法还包括：
对任务执行参数进行归一化数据处理。
以及，历史任务的任务执行参数用于训练调度预测模型之前进行了归一化数据处理。
可见，通过该可选的实施方式，可以对任务执行参数进行归一化数据处理，以消除数据的量级误差，可以提高数据质量及预测精度，则在后续进行预测时，可以有效确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，调度预测模型为LTSM网络算法模型。
具体的，LTSM (Long Short⁃Term Memory, 长短期记忆)网络是一种可以处理序列数据的循环神经网络，LSTM是RNN的一个变种，在处理时间序列数据方面具有很大的优势，在不需要改变算法的情况下可以延长模型的记忆时间，提高模型的预测精度，可以在不同时刻改变设计连接间的权重系数，LSTM的特点是通过增加输入门限、输出门限和遗忘门限使自循环参数的权重不断发生变化，在很大程度上避免梯度消失和梯度膨胀问题。
作为一个可选的实施方式，调度预测模型根据以下步骤训练得到：
收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据集；
对训练数据集中的历史任务执行参数进行数据去噪处理和归一化数据处理；
构建一个包括256个神经元的LSTM网络算法模型，将优化函数设为Adam函数，梯度值设为1，初始学习率为0.005，并根据训练数据集进行100个轮的训练，之后再通过乘以因子0.2来降低学习率；
在训练中对LSTM网络算法模型的调节参数进行调节；调节参数包括批量大小、窗口大小、节点数量、学习率和训练步长中的至少一种；
根据均方根误差，在训练中对LSTM网络算法模型进行模型评估，直至评估结果显示LSTM网络算法模型达到收敛，得到训练好的调度预测模型。
具体的，LSTM神经网络对预测时间序列数据具有较强的优势，但对于复杂度和变化频率较高的数据，单一LSTM预测方法很难获取数据的变化规律，使得模拟和预测结果欠佳。而小波分解能将原始数据中不同频段的信息进行分解，极大地降低数据复杂度，再分别对这些数据进行预测从而提高预测精度。所以，结合小波变换与长短期记忆网络建立系统资源情况与作业线程量与其有关影响因素之间的深度网络模型，然后通过对各影响因素未来值的预测推算出作业线程量的预测值。
具体的，可以对训练数据集进行样本划分，把原始数据的90%划分为训练集，剩下的10%划分为测试集，为了获得较好的拟合并防止训练发散，将训练数据标准化为具有零均值和单位方差。具体的，对要预测的值，将响应指定为下一个时间的训练序列，在输入序列的每一步，网络都学习预测下一个时间序列的值，预测变量是没有最终时间步的训练序列的。
具体的，预测模型评估使用均方根误差 (Root Mean Squared Error, RMSE)：
Figure 249931DEST_PATH_IMAGE004
；
其中，N表示总数据量，yt表示真实值，ӯt表示预测值。
具体的，LSTM模型的调节参数包括batch_size(批量大小)，window_size(窗口大小)，num_units(节点数量)，learning_rate(学习率)，steps(训练步长)，在保证网络快速收敛的同时又具有较高的预测精度，经过多次实验测试与参数调整，模型可以达到最优结果。
可见，通过该可选的实施方式，可以根据历史数据训练得到有效的调度预测模型，则在后续进行预测时，可以有效确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，上述步骤104中的，根据任务调度参数，对待调度任务组中的多个待调度ETL任务进行调度执行，包括：
将任务调度参数输入至动态规划模型中，以测算得到待调度任务组对应的任务具体调度策略；其中，任务具体调度策略用于指示符合任务调度参数的多个待调度ETL任务中的每一ETL任务的执行次序；
根据任务具体调度策略，对待调度任务组中的多个待调度ETL任务进行调度执行。
可选的，动态规划模型为蚁群算法、人工免疫算法或粒子群算法。
可见，通过该可选的实施方式，可以进一步地利用动态规划模型模型根据调度预测模型预测出的调度参数，测算出任务的具体调度策略，从而进一步提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，上述步骤中的，将任务调度参数输入至动态规划模型中，以测算得到待调度任务组对应的任务具体调度策略，包括：
根据任务调度参数，从多个待调度ETL任务确定出符合任务调度参数的多个候选ETL任务；
确定不同类型的候选ETL任务对应的任务执行设备、任务资源成本和任务时间成本；
确定目标函数为任务执行方案的执行成本达到最小；执行成本为任务执行方案执行时的总资源成本和总时间成本之和；任务执行方案为多个候选ETL任务依照一定的执行次序所形成的执行方案；
确定约束条件为任务执行方案中的多个候选ETL任务的执行次序能够满足所有对应的任务执行设备的启动顺序条件；启动顺序条件用于限定任一任务执行设备能否在任一其他任务执行设备之前或之后启动；
根据目标函数和约束条件，基于动态规划模型，演算出多个候选ETL任务对应的最优任务执行方案；
将最优任务执行方案确定为待调度任务组对应的任务具体调度策略。
可见，通过该可选的实施方式，可以根据目标函数和约束条件，基于动态规划模型，演算出多个候选ETL任务对应的最优任务执行方案，从而进一步提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，在上述步骤中的，根据任务具体调度策略，对待调度任务组中的多个待调度ETL任务进行调度执行之后，该方法还包括：
实时收集对待调度任务组中的多个待调度ETL任务进行调度执行时的任务执行参数，得到策略执行时的任务执行参数；
根据策略执行时的任务执行参数和任务具体调度策略，对调度预测模型进行进一步的训练优化。
可选的，对调度预测模型进行进一步的训练优化的具体步骤，可以参照上述实施例中对调度预测模型进行训练的步骤，其不同之处在于此时将输入的训练数据集换成了策略执行时的任务执行参数和任务具体调度策略对应的任务调度参数，从而可以结合动态规划模型的测算结果再进一步优化调度预测模型。
可见，通过该可选的实施方式，可以根据策略执行时的任务执行参数和任务具体调度策略，对调度预测模型进行进一步的训练优化，以训练得到更加优秀和精确的调度预测模型，从而进一步提高ETL任务调度的效率，降低调度成本。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于深度学习算法的ETL调度装置的结构示意图。其中，图2所描述的基于深度学习算法的ETL调度装置应用于数据处理芯片、处理终端或处理服务器（其中，该处理服务器可以为本地服务器或云服务器）中。如图2所示，该基于深度学习算法的ETL调度装置可以包括：
任务获取模块201，用于获取包括有多个待调度ETL任务的待调度任务组。
本发明中所述的ETL任务可以为不同类型的任务，此处的类型可以用于指示任务对应的具体的数据操作的类型，例如是抽取操作、转换操作还是载入操作，也可以用于指示任务对应的数据的类型，例如是交通业务数据还是物流业务数据，还可以用于指示任务对应的数据源或数据仓库的类型，例如是哪一个特定的数据源或将被载入哪一个特定的数据仓库，本发明不做限定。
可选的，不同类型的任务可能由同一设备执行，例如同一处理器的不同线程执行，或是直接由不同设备执行，本发明不做限定。
参数确定模块202，用于确定每一待调度ETL任务的任务执行参数。
可选的，任务执行参数可以包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。
可选的，任务执行参数可以为待调度ETL任务在最近的历史时间段执行时的执行参数，或是预计的执行参数。
调度预测模块203，用于将所有待调度ETL任务的任务执行参数输入至训练好的调度预测模型中，以预测得到待调度任务组的任务调度参数。
具体的，调度预测模型为神经网络模型，其根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到。
可选的，任务调度参数包括调度任务类型和调度任务线程数量的至少一种。可选的，任务调度参数用于指示整个待调度任务组在调度时的总的调度参数，例如一共包括有几种调度任务类型，一共可以同时调度几个任务线程数量等。
调度执行模块204，用于根据任务调度参数，对待调度任务组中的多个待调度ETL任务进行调度执行。
可见，上述发明实施例利用了训练好的预测模型来预测调度参数，能够实现无需人工干涉的智能调度，可以确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，该装置还包括数据预处理模块，用于在调度预测模块203将所有待调度ETL任务的任务执行参数输入至训练好的调度预测模型中，以预测得到待调度任务组的任务调度参数之前，执行以下步骤：
根据小波变换算法，对任务执行参数进行数据去噪处理。
因为本发明的方案需要基于历史数据处理，针对具有时间序列的数据处理问题，小波分析在处理多尺度空间和时间上的数据特征和趋势具有很强的泛化能力。小波变换算法具有处理非平稳的历史作业调度数据的能力，因此用小波变换进行数据去噪。小波变换的关键特性是可以同时分析特定时间序列的频率分量，小波在处理高度不规则的历史数据时很有用。基本原理思想是利用尺度函数表示原始信号，随着尺度级的下降，尺度越来越大，对原始信号的表示也越来越粗糙模糊，和原始信号的差异越来越大时引入小波函数来对尺度函数表示部分和原始信号之间的差异进行表示，最终尺度函数+小波函数可以精确地表示原信号；施加在尺度函数和小波函数上的系数就是小波变换的结果，用这些系数，可以复原出原信号；可以理解为尺度函数大致粗糙地表示了原始信号中，而小波函数则精确的描述了两者之间的差异；原始信号可以看作是最高（精细）的尺度，随着尺度级逐渐下降，尺度函数从最精细的表示逐渐变得粗糙，在这过程中，小波函数不断地表示两者之间的差异部分，小波函数自身也不断地变得粗糙；这样做的优势是能对时间（空间）频率的局部化分析，通过伸缩平移运算对信号（函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分。小波变换公式如下：
Figure 593450DEST_PATH_IMAGE002
。
从上述公式可以看出，小波变换得到的数据有两个变量：尺度和平移量，尺度控制小波函数的伸缩，平移量控制小波函数的平移，尺度就对应于频率（反比），平移量就对应于时间。
进一步的，历史任务的任务执行参数在用于训练该调度预测模型之前同样进行了上述数据去噪处理，也即利用了小波变换算法进行了数据去噪，以使得模型的训练效果更佳。
可见，通过该可选的实施方式，可以根据小波变换算法，对任务执行参数进行数据去噪处理，以使得任务执行参数中的时间特性数据被有效地去噪，则在后续进行预测时，可以有效确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，数据预处理模块还用于在调度预测模块203将所有待调度ETL任务的任务执行参数输入至训练好的调度预测模型中，以预测得到待调度任务组的任务调度参数之前，执行以下步骤：
对任务执行参数进行归一化数据处理。
以及，历史任务的任务执行参数用于训练调度预测模型之前进行了归一化数据处理。
可见，通过该可选的实施方式，可以对任务执行参数进行归一化数据处理，以消除数据的量级误差，可以提高数据质量及预测精度，则在后续进行预测时，可以有效确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，调度预测模型为LTSM网络算法模型。
具体的，LTSM (Long Short⁃Term Memory, 长短期记忆)网络是一种可以处理序列数据的循环神经网络，LSTM是RNN的一个变种，在处理时间序列数据方面具有很大的优势，在不需要改变算法的情况下可以延长模型的记忆时间，提高模型的预测精度，可以在不同时刻改变设计连接间的权重系数，LSTM的特点是通过增加输入门限、输出门限和遗忘门限使自循环参数的权重不断发生变化，在很大程度上避免梯度消失和梯度膨胀问题。
作为一个可选的实施方式，该装置还包括训练模块，用于执行以下步骤以训练得到调度预测模型：
收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据集；
对训练数据集中的历史任务执行参数进行数据去噪处理和归一化数据处理；
构建一个包括256个神经元的LSTM网络算法模型，将优化函数设为Adam函数，梯度值设为1，初始学习率为0.005，并根据训练数据集进行100个轮的训练，之后再通过乘以因子0.2来降低学习率；
在训练中对LSTM网络算法模型的调节参数进行调节；调节参数包括批量大小、窗口大小、节点数量、学习率和训练步长中的至少一种；
根据均方根误差，在训练中对LSTM网络算法模型进行模型评估，直至评估结果显示LSTM网络算法模型达到收敛，得到训练好的调度预测模型。
具体的，LSTM神经网络对预测时间序列数据具有较强的优势，但对于复杂度和变化频率较高的数据，单一LSTM预测方法很难获取数据的变化规律，使得模拟和预测结果欠佳。而小波分解能将原始数据中不同频段的信息进行分解，极大地降低数据复杂度，再分别对这些数据进行预测从而提高预测精度。所以，结合小波变换与长短期记忆网络建立系统资源情况与作业线程量与其有关影响因素之间的深度网络模型，然后通过对各影响因素未来值的预测推算出作业线程量的预测值。
具体的，可以对训练数据集进行样本划分，把原始数据的90%划分为训练集，剩下的10%划分为测试集，为了获得较好的拟合并防止训练发散，将训练数据标准化为具有零均值和单位方差。具体的，对要预测的值，将响应指定为下一个时间的训练序列，在输入序列的每一步，网络都学习预测下一个时间序列的值，预测变量是没有最终时间步的训练序列的。
具体的，预测模型评估使用均方根误差 (Root Mean Squared Error, RMSE)：
Figure 988659DEST_PATH_IMAGE004
；
其中，N表示总数据量，yt表示真实值，ӯt表示预测值。
具体的，LSTM模型的调节参数包括batch_size(批量大小)，window_size(窗口大小)，num_units(节点数量)，learning_rate(学习率)，steps(训练步长)，在保证网络快速收敛的同时又具有较高的预测精度，经过多次实验测试与参数调整，模型可以达到最优结果。
可见，通过该可选的实施方式，可以根据历史数据训练得到有效的调度预测模型，则在后续进行预测时，可以有效确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，调度执行模块204根据任务调度参数，对待调度任务组中的多个待调度ETL任务进行调度执行的具体方式，包括：
将任务调度参数输入至动态规划模型中，以测算得到待调度任务组对应的任务具体调度策略；任务具体调度策略用于指示符合任务调度参数的多个待调度ETL任务中的每一ETL任务的执行次序；
根据任务具体调度策略，对待调度任务组中的多个待调度ETL任务进行调度执行。
可选的，动态规划模型为蚁群算法、人工免疫算法或粒子群算法。
可见，通过该可选的实施方式，可以进一步地利用动态规划模型模型根据调度预测模型预测出的调度参数，测算出任务的具体调度策略，从而进一步提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，调度执行模块204将任务调度参数输入至动态规划模型中，以测算得到待调度任务组对应的任务具体调度策略的具体方式，包括：
根据任务调度参数，从多个待调度ETL任务确定出符合任务调度参数的多个候选ETL任务；
确定不同类型的候选ETL任务对应的任务执行设备、任务资源成本和任务时间成本；
确定目标函数为任务执行方案的执行成本达到最小；执行成本为任务执行方案执行时的总资源成本和总时间成本之和；任务执行方案为多个候选ETL任务依照一定的执行次序所形成的执行方案；
确定约束条件为任务执行方案中的多个候选ETL任务的执行次序能够满足所有对应的任务执行设备的启动顺序条件；启动顺序条件用于限定任一任务执行设备能否在任一其他任务执行设备之前或之后启动；
根据目标函数和约束条件，基于动态规划模型，演算出多个候选ETL任务对应的最优任务执行方案；
将最优任务执行方案确定为待调度任务组对应的任务具体调度策略。
可见，通过该可选的实施方式，可以根据目标函数和约束条件，基于动态规划模型，演算出多个候选ETL任务对应的最优任务执行方案，从而进一步提高ETL任务调度的效率，降低调度成本。
作为一个可选的实施方式，该装置还包括重优化模块，用于在调度执行模块204根据任务具体调度策略，对待调度任务组中的多个待调度ETL任务进行调度执行之后，执行以下步骤：
实时收集对待调度任务组中的多个待调度ETL任务进行调度执行时的任务执行参数，得到策略执行时的任务执行参数；
根据策略执行时的任务执行参数和任务具体调度策略，对调度预测模型进行进一步的训练优化。
可选的，对调度预测模型进行进一步的训练优化的具体步骤，可以参照上述实施例中对调度预测模型进行训练的步骤，其不同之处在于此时将输入的训练数据集换成了策略执行时的任务执行参数和任务具体调度策略对应的任务调度参数，从而可以结合动态规划模型的测算结果再进一步优化调度预测模型。
可见，通过该可选的实施方式，可以根据策略执行时的任务执行参数和任务具体调度策略，对调度预测模型进行进一步的训练优化，以训练得到更加优秀和精确的调度预测模型，从而进一步提高ETL任务调度的效率，降低调度成本。
实施例三
请参阅图3，图3是本发明实施例公开的又一种基于深度学习算法的ETL调度装置。图3所描述的基于深度学习算法的ETL调度装置应用于数据处理芯片、处理终端或处理服务器（其中，该处理服务器可以为本地服务器或云服务器）中。如图3所示，该基于深度学习算法的ETL调度装置可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
其中，处理器302调用存储器301中存储的可执行程序代码，用于执行实施例一所描述的基于深度学习算法的ETL调度方法的步骤。
实施例四
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的基于深度学习算法的ETL调度方法的步骤。
实施例五
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的基于深度学习算法的ETL调度方法的步骤。
上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGateArray， FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera HardwareDescriptionLanguage)、 Confluence、CUPL(Cornell University ProgrammingLanguage)、HDCal、JHDL (Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL (RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后应说明的是：本发明实施例公开的一种基于深度学习算法的ETL调度方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习算法的ETL调度方法，其特征在于，所述方法包括：
获取包括有多个待调度ETL任务的待调度任务组；
确定每一所述待调度ETL任务的任务执行参数；
将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；
根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。
2.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。
3.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述任务调度参数包括调度任务类型和调度任务线程数量的至少一种。
4.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，在所述将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数之前，所述方法还包括：
根据小波变换算法，对所述任务执行参数进行数据去噪处理；
和/或，
对所述任务执行参数进行归一化数据处理；
以及，所述历史任务的任务执行参数用于训练所述调度预测模型之前进行了所述数据去噪处理和/或所述归一化数据处理。
5.根据权利要求4所述的基于深度学习算法的ETL调度方法，其特征在于，所述调度预测模型为LTSM网络算法模型，以及所述调度预测模型根据以下步骤训练得到：
收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据集；
对所述训练数据集中的所述历史任务执行参数进行所述数据去噪处理和所述归一化数据处理；
构建一个包括256个神经元的LSTM网络算法模型，将优化函数设为Adam函数，梯度值设为1，初始学习率为0.005，并根据所述训练数据集进行100个轮的训练，之后再通过乘以因子0.2来降低学习率；
在训练中对所述LSTM网络算法模型的调节参数进行调节；所述调节参数包括批量大小、窗口大小、节点数量、学习率和训练步长中的至少一种；
根据均方根误差，在训练中对所述LSTM网络算法模型进行模型评估，直至评估结果显示所述LSTM网络算法模型达到收敛，得到训练好的所述调度预测模型。
6.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行，包括：
将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略；所述任务具体调度策略用于指示符合所述任务调度参数的所述多个待调度ETL任务中的每一ETL任务的执行次序；
根据所述任务具体调度策略，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。
7.根据权利要求6所述的基于深度学习算法的ETL调度方法，其特征在于，所述动态规划模型为蚁群算法、人工免疫算法或粒子群算法；所述将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略，包括：
根据所述任务调度参数，从所述多个待调度ETL任务确定出符合所述任务调度参数的多个候选ETL任务；
确定不同类型的所述候选ETL任务对应的任务执行设备、任务资源成本和任务时间成本；
确定目标函数为任务执行方案的执行成本达到最小；所述执行成本为所述任务执行方案执行时的总资源成本和总时间成本之和；所述任务执行方案为所述多个候选ETL任务依照一定的执行次序所形成的执行方案；
确定约束条件为所述任务执行方案中的多个候选ETL任务的执行次序能够满足所有对应的所述任务执行设备的启动顺序条件；所述启动顺序条件用于限定任一所述任务执行设备能否在任一其他所述任务执行设备之前或之后启动；
根据所述目标函数和所述约束条件，基于所述动态规划模型，演算出所述多个候选ETL任务对应的最优任务执行方案；
将所述最优任务执行方案确定为所述待调度任务组对应的任务具体调度策略。
8.根据权利要求6所述的基于深度学习算法的ETL调度方法，其特征在于，在所述根据所述任务具体调度策略，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行之后，所述方法还包括：
实时收集对所述待调度任务组中的所述多个待调度ETL任务进行调度执行时的任务执行参数，得到策略执行时的任务执行参数；
根据所述策略执行时的任务执行参数和所述任务具体调度策略，对所述调度预测模型进行进一步的训练优化。
9.一种基于深度学习算法的ETL调度装置，其特征在于，所述装置包括：
任务获取模块，用于获取包括有多个待调度ETL任务的待调度任务组；
参数确定模块，用于确定每一所述待调度ETL任务的任务执行参数；
调度预测模块，用于将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；
调度执行模块，用于根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。
10.一种基于深度学习算法的ETL调度装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-8任一项所述的基于深度学习算法的ETL调度方法。
CN202210856656.8A 2022-07-21 2022-07-21 基于深度学习算法的etl调度方法及装置 Pending CN114936085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210856656.8A CN114936085A (zh) 2022-07-21 2022-07-21 基于深度学习算法的etl调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210856656.8A CN114936085A (zh) 2022-07-21 2022-07-21 基于深度学习算法的etl调度方法及装置

Publications (1)

Publication Number Publication Date
CN114936085A true CN114936085A (zh) 2022-08-23

Family

ID=82868016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210856656.8A Pending CN114936085A (zh) 2022-07-21 2022-07-21 基于深度学习算法的etl调度方法及装置

Country Status (1)

Country Link
CN (1) CN114936085A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302898A (zh) * 2023-05-17 2023-06-23 之江实验室 一种任务治理方法、装置、存储介质及电子设备
CN116521350A (zh) * 2023-06-29 2023-08-01 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法及装置
CN116795504A (zh) * 2023-01-10 2023-09-22 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法、装置、设备及介质
CN116934041A (zh) * 2023-07-28 2023-10-24 广州普睿特智能包装科技有限公司 一种基于物联网协同的工厂任务管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885762A (zh) * 2017-09-19 2018-04-06 北京百度网讯科技有限公司 智能大数据系统、提供智能大数据服务的方法和设备
US20180314934A1 (en) * 2017-04-28 2018-11-01 Intel Corporation Scheduling configuration for deep learning networks
CN111680085A (zh) * 2020-05-07 2020-09-18 北京三快在线科技有限公司 数据处理任务分析方法、装置、电子设备和可读存储介质
CN113886080A (zh) * 2021-09-29 2022-01-04 苏州浪潮智能科技有限公司 高性能集群任务调度方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180314934A1 (en) * 2017-04-28 2018-11-01 Intel Corporation Scheduling configuration for deep learning networks
CN107885762A (zh) * 2017-09-19 2018-04-06 北京百度网讯科技有限公司 智能大数据系统、提供智能大数据服务的方法和设备
CN111680085A (zh) * 2020-05-07 2020-09-18 北京三快在线科技有限公司 数据处理任务分析方法、装置、电子设备和可读存储介质
CN113886080A (zh) * 2021-09-29 2022-01-04 苏州浪潮智能科技有限公司 高性能集群任务调度方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张小庆等: "移动云计算多目标任务调度进化算法", 《微电子学与计算机》 *
李毅著: "《人口流动研究方法与应用：基于大数据与智慧城市视角》", 31 December 2018 *
王卓昊等: "基于ISE算法的分布式ETL任务调度策略研究", 《计算机科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116795504A (zh) * 2023-01-10 2023-09-22 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法、装置、设备及介质
CN116302898A (zh) * 2023-05-17 2023-06-23 之江实验室 一种任务治理方法、装置、存储介质及电子设备
CN116521350A (zh) * 2023-06-29 2023-08-01 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法及装置
CN116521350B (zh) * 2023-06-29 2024-03-22 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法及装置
CN116934041A (zh) * 2023-07-28 2023-10-24 广州普睿特智能包装科技有限公司 一种基于物联网协同的工厂任务管理方法及系统
CN116934041B (zh) * 2023-07-28 2024-01-26 广州普睿特智能包装科技有限公司 一种基于物联网协同的工厂任务管理方法及系统

Similar Documents

Publication Publication Date Title
CN114936085A (zh) 基于深度学习算法的etl调度方法及装置
CN110826708B (zh) 一种用多核处理器实现神经网络模型拆分方法及相关产品
CN112200296B (zh) 网络模型量化方法、装置、存储介质及电子设备
CN116304720B (zh) 一种代价模型训练的方法、装置、存储介质及电子设备
CN112529301A (zh) 用电量预测方法、设备及存储介质
WO2022048557A1 (zh) Ai模型的训练方法、装置、计算设备和存储介质
CN116521380A (zh) 一种资源自适应协同的模型训练加速方法、装置及设备
JP7246447B2 (ja) モデルトレーニング方法、装置、電子デバイス、記憶媒体、開発システムおよびプログラム
CN116502679B (zh) 一种模型构建方法、装置、存储介质及电子设备
CN117370034B (zh) 一种算力调度系统评估方法、装置、存储介质及电子设备
CN116521350B (zh) 基于深度学习算法的etl调度方法及装置
CN116932174B (zh) Eda仿真任务动态资源调度方法、装置、终端及介质
Metz et al. Pick the right edge device: Towards power and performance estimation of CUDA-based CNNs on GPGPUs
WO2023160290A1 (zh) 神经网络推理加速方法、目标检测方法、设备及存储介质
CN115827225A (zh) 异构运算的分配方法、模型训练方法、装置、芯片、设备及介质
CN115841068A (zh) 一种针对用户的干预执行方法、装置以及设备
CN114722972A (zh) 一种异常检测的方法及装置
CN110008112B (zh) 模型训练方法和装置、业务测试方法和装置
CN111931994A (zh) 一种短期负荷及光伏功率预测方法及其系统、设备、介质
CN110516814A (zh) 一种业务模型参数值确定方法、装置、设备及介质
CN117171577B (zh) 一种高性能算子选择的动态决策方法及装置
Metz et al. Fast and Accurate: Machine Learning Techniques for Performance Estimation of CNNs for GPGPUs
US20240061906A1 (en) System and method for downsampling data
CN117075918B (zh) 一种模型部署方法、装置、存储介质及电子设备
CN116306855B (zh) 一种基于存算一体系统的数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220823

RJ01 Rejection of invention patent application after publication