CN116521350A - 基于深度学习算法的etl调度方法及装置 - Google Patents

基于深度学习算法的etl调度方法及装置 Download PDF

Info

Publication number
CN116521350A
CN116521350A CN202310777903.XA CN202310777903A CN116521350A CN 116521350 A CN116521350 A CN 116521350A CN 202310777903 A CN202310777903 A CN 202310777903A CN 116521350 A CN116521350 A CN 116521350A
Authority
CN
China
Prior art keywords
scheduling
task
historical
parameters
etl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310777903.XA
Other languages
English (en)
Other versions
CN116521350B (zh
Inventor
吴伟华
林金怡
李韩
邹西山
庞文刚
文其瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom WO Music and Culture Co Ltd
Original Assignee
China Unicom WO Music and Culture Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom WO Music and Culture Co Ltd filed Critical China Unicom WO Music and Culture Co Ltd
Priority to CN202310777903.XA priority Critical patent/CN116521350B/zh
Publication of CN116521350A publication Critical patent/CN116521350A/zh
Application granted granted Critical
Publication of CN116521350B publication Critical patent/CN116521350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习算法的ETL调度方法及装置，该方法包括：获取多个ETL调度中心发送的针对目标调度任务组中的至少两个调度任务的历史调度策略；根据所述历史调度策略，确定所述调度任务对应的历史调度参数；根据所述ETL调度中心对应的中心设备参数和调度历史记录，确定所述调度任务对应的调度准确性参数；根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数；根据所述历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略。可见，本发明能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高调度的效率和效果。

Description

基于深度学习算法的ETL调度方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于深度学习算法的ETL调度方法及装置。
背景技术
ETL（Extract-Transform-Load，数据抽取加载和转换）作业通常由一个集中的调度平台控制他们的运行，决定执行顺序，进行错误捕捉和处理。现有的较为完善的ETL系统，往往需要具有合理的调度算法来确定出调度策略，以实现合理高效的任务调度。
由于一些信息处理任务中涉及到多个平台多个系统的数据处理，会存在多个不同的系统或企业采用自己的ETL调度平台来执行自己的ETL任务调度，但现有的ETL调度技术中，没有考虑到综合利用不同子系统或企业的ETL中心调度的结果来修正或优化ETL调度，而是大部分各自在自己的数据区域内实现调度，从而无法利用超大数据处理记录中的经验来提高ETL作业的效率和效果，这严重制约了ETL的大规模应用。可见，现有技术存在缺陷，亟需解决。
发明内容
本发明所要解决的技术问题在于，提供一种基于深度学习算法的ETL调度方法及装置，能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高ETL调度的效率和效果。
为了解决上述技术问题，本发明第一方面公开了一种基于深度学习算法的ETL调度方法，所述方法包括：
获取多个ETL调度中心发送的针对目标调度任务组中的至少两个调度任务的历史调度策略；所述目标调度任务组包括有多个调度任务；
根据每一所述历史调度策略，确定每一所述调度任务对应的历史调度参数；
根据每一所述ETL调度中心对应的中心设备参数和调度历史记录，确定每一所述调度任务对应的调度准确性参数；
根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数；
根据所有所述调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略。
作为一个可选的实施方式，在本发明第一方面中，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种；以及，所述根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数，包括：
将每一所述调度任务对应的任务执行参数输入至训练好的第一神经网络预测模型，以得到输出的每一所述调度任务对应的调度优先级参数；所述第一神经网络预测模型通过包括有多个训练任务执行参数和对应的调度优先级标注的训练数据集训练得到。
作为一个可选的实施方式，在本发明第一方面中，所述根据每一所述历史调度策略，确定每一所述调度任务对应的历史调度参数，包括：
对于每一所述调度任务，确定该调度任务在任一所述历史调度策略中对应的历史调度优先级；
根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，计算该调度任务对应的历史调度前位比例；所述历史调度前位比例为该调度任务在所有所述历史调度策略中的优先级在前预设位数内的次数占该调度任务在所有历史调度策略中的出现次数的比例；
根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，以及任一所述历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数；
计算该调度任务对应的所述历史调度前位比例和所述历史调度场景参数的加权求和值，得到该调度任务对应的历史调度参数。
作为一个可选的实施方式，在本发明第一方面中，所述根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，以及任一所述历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数，包括：
确定本次调度的当前调度场景；
对于该调度任务在任一所述历史调度策略中对应的历史调度优先级，计算该历史调度策略对应的调度场景和当前调度场景的场景相似度，并计算所述场景相似度和所述历史调度优先级的乘积，以得到该调度任务在该历史调度策略中对应的调度场景参数；所述当前调度场景或所述调度场景包括客户需求分析、客户需求预测、客户通信质量分析、客户通信场景分析、客户通信费用分析和客户画像分析中的一种或多种组合的需求；
计算该调度任务在所有所述历史调度策略中对应的所述调度场景参数的平均值，以得到该调度任务对应的历史调度场景参数。
作为一个可选的实施方式，在本发明第一方面中，所述根据每一所述ETL调度中心对应的中心设备参数和调度历史记录，确定每一所述调度任务对应的调度准确性参数，包括：
对于每一所述调度任务在任一所述调度策略，根据该调度策略对应的所述ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数；
根据该调度策略对应的所述ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数；
计算该调度策略对应的设备先进度参数和调度性能参数的乘积，得到该调度策略对应的调度效果参数；
计算该调度任务对应的所有所述调度策略的所述调度效果参数的平均值，确定该调度任务对应的调度准确性参数。
作为一个可选的实施方式，在本发明第一方面中，所述中心设备参数包括处理器参数、内存参数、硬盘参数、阵列卡参数、电源参数、网络硬件参数和内存参数中的至少一种；以及，所述根据该调度策略对应的所述ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数，包括：
将该调度策略对应的所述ETL调度中心对应的中心设备参数，输入至训练好的第二神经网络预测模型，以得到输出的该调度策略对应的设备先进度参数；所述第二神经网络预测模型通过包括有多个训练中心设备参数和对应的设备先进度标注的训练数据集训练得到。
作为一个可选的实施方式，在本发明第一方面中，所述根据该调度策略对应的所述ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数，包括：
根据该调度策略对应的所述ETL调度中心对应的调度历史记录，统计所述ETL调度中心在所述调度历史记录中计算出调度策略的平均用时的倒数，得到用时参数；
根据所述调度历史记录，获取所述ETL调度中心计算出的所有调度策略对应的调度结果参数；所述调度结果参数包括任务执行参数、任务执行成功率和任务执行总时间；
将所述调度结果参数输入至训练好的第三神经网络预测模型，以得到输出的该调度结果参数对应的调度效果预测值；所述第三神经网络预测模型通过包括有多个训练调度结果参数和对应的调度效果标注的训练数据集训练得到；
计算所述ETL调度中心对应的所述用时参数和所述调度效果预测值的乘积，得到该调度策略对应的调度性能参数。
作为一个可选的实施方式，在本发明第一方面中，所述根据所有所述调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略，包括：
根据每一所述调度任务对应的历史调度参数和调度准确性参数的乘积的大小，确定每一所述调度任务对应的历史调度优先级参数；
确定所述目标调度任务组中不同类型的所述调度任务对应的任务执行设备；
确定目标函数为任务执行方案对应的所有调度任务的优先级信息对应的相似度差值达到最小；所述相似度差值为第一相似度和第二相似度的差值；所述第一相似度为所述优先级信息与所述历史调度优先级参数之间的相似度；所述第二相似度为所述优先级信息与所述调度优先级参数之间的相似度；所述任务执行方案为所述多个调度任务依照一定的执行次序所形成的执行方案；
确定约束条件为所述任务执行方案中的多个调度任务的执行次序能够满足所有对应的所述任务执行设备的启动顺序条件；所述启动顺序条件用于限定任一所述任务执行设备能否在任一其他所述任务执行设备之前或之后启动；
根据所述目标函数和所述约束条件，基于动态规划算法，演算出所述多个调度任务对应的最优的任务执行方案；
将所述最优的任务执行方案确定为所述目标调度任务组对应的任务执行策略。
本发明第二方面公开了一种基于深度学习算法的ETL调度装置，所述装置包括：
获取模块，用于获取多个ETL调度中心发送的针对目标调度任务组中的至少两个调度任务的历史调度策略；所述目标调度任务组包括有多个调度任务；
第一确定模块，用于根据每一所述历史调度策略，确定每一所述调度任务对应的历史调度参数；
第二确定模块，用于根据每一所述ETL调度中心对应的中心设备参数和调度历史记录，确定每一所述调度任务对应的调度准确性参数；
第三确定模块，用于根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数；
第四确定模块，用于根据所有所述调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略。
作为一个可选的实施方式，在本发明第二方面中，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种；以及，所述第三确定模块根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数的具体方式，包括：
将每一所述调度任务对应的任务执行参数输入至训练好的第一神经网络预测模型，以得到输出的每一所述调度任务对应的调度优先级参数；所述第一神经网络预测模型通过包括有多个训练任务执行参数和对应的调度优先级标注的训练数据集训练得到。
作为一个可选的实施方式，在本发明第二方面中，所述第一确定模块根据每一所述历史调度策略，确定每一所述调度任务对应的历史调度参数的具体方式，包括：
对于每一所述调度任务，确定该调度任务在任一所述历史调度策略中对应的历史调度优先级；
根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，计算该调度任务对应的历史调度前位比例；所述历史调度前位比例为该调度任务在所有所述历史调度策略中的优先级在前预设位数内的次数占该调度任务在所有历史调度策略中的出现次数的比例；
根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，以及任一所述历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数；
计算该调度任务对应的所述历史调度前位比例和所述历史调度场景参数的加权求和值，得到该调度任务对应的历史调度参数。
作为一个可选的实施方式，在本发明第二方面中，所述第一确定模块根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，以及任一所述历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数的具体方式，包括：
确定本次调度的当前调度场景；
对于该调度任务在任一所述历史调度策略中对应的历史调度优先级，计算该历史调度策略对应的调度场景和当前调度场景的场景相似度，并计算所述场景相似度和所述历史调度优先级的乘积，以得到该调度任务在该历史调度策略中对应的调度场景参数；所述当前调度场景或所述调度场景包括客户需求分析、客户需求预测、客户通信质量分析、客户通信场景分析、客户通信费用分析和客户画像分析中的一种或多种组合的需求；
计算该调度任务在所有所述历史调度策略中对应的所述调度场景参数的平均值，以得到该调度任务对应的历史调度场景参数。
作为一个可选的实施方式，在本发明第二方面中，所述第二确定模块根据每一所述ETL调度中心对应的中心设备参数和调度历史记录，确定每一所述调度任务对应的调度准确性参数的具体方式，包括：
对于每一所述调度任务在任一所述调度策略，根据该调度策略对应的所述ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数；
根据该调度策略对应的所述ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数；
计算该调度策略对应的设备先进度参数和调度性能参数的乘积，得到该调度策略对应的调度效果参数；
计算该调度任务对应的所有所述调度策略的所述调度效果参数的平均值，确定该调度任务对应的调度准确性参数。
作为一个可选的实施方式，在本发明第二方面中，所述中心设备参数包括处理器参数、内存参数、硬盘参数、阵列卡参数、电源参数、网络硬件参数和内存参数中的至少一种；以及，所述第二确定模块根据该调度策略对应的所述ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数的具体方式，包括：
将该调度策略对应的所述ETL调度中心对应的中心设备参数，输入至训练好的第二神经网络预测模型，以得到输出的该调度策略对应的设备先进度参数；所述第二神经网络预测模型通过包括有多个训练中心设备参数和对应的设备先进度标注的训练数据集训练得到。
作为一个可选的实施方式，在本发明第二方面中，所述第二确定模块根据该调度策略对应的所述ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数的具体方式，包括：
根据该调度策略对应的所述ETL调度中心对应的调度历史记录，统计所述ETL调度中心在所述调度历史记录中计算出调度策略的平均用时的倒数，得到用时参数；
根据所述调度历史记录，获取所述ETL调度中心计算出的所有调度策略对应的调度结果参数；所述调度结果参数包括任务执行参数、任务执行成功率和任务执行总时间；
将所述调度结果参数输入至训练好的第三神经网络预测模型，以得到输出的该调度结果参数对应的调度效果预测值；所述第三神经网络预测模型通过包括有多个训练调度结果参数和对应的调度效果标注的训练数据集训练得到；
计算所述ETL调度中心对应的所述用时参数和所述调度效果预测值的乘积，得到该调度策略对应的调度性能参数。
作为一个可选的实施方式，在本发明第二方面中，所述第四确定模块根据所有所述调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略的具体方式，包括：
根据每一所述调度任务对应的历史调度参数和调度准确性参数的乘积的大小，确定每一所述调度任务对应的历史调度优先级参数；
确定所述目标调度任务组中不同类型的所述调度任务对应的任务执行设备；
确定目标函数为任务执行方案对应的所有调度任务的优先级信息对应的相似度差值达到最小；所述相似度差值为第一相似度和第二相似度的差值；所述第一相似度为所述优先级信息与所述历史调度优先级参数之间的相似度；所述第二相似度为所述优先级信息与所述调度优先级参数之间的相似度；所述任务执行方案为所述多个调度任务依照一定的执行次序所形成的执行方案；
确定约束条件为所述任务执行方案中的多个调度任务的执行次序能够满足所有对应的所述任务执行设备的启动顺序条件；所述启动顺序条件用于限定任一所述任务执行设备能否在任一其他所述任务执行设备之前或之后启动；
根据所述目标函数和所述约束条件，基于动态规划算法，演算出所述多个调度任务对应的最优的任务执行方案；
将所述最优的任务执行方案确定为所述目标调度任务组对应的任务执行策略。
本发明第三方面公开了另一种基于深度学习算法的ETL调度装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于深度学习算法的ETL调度方法中的部分或全部步骤。
本发明第四方面公开了一种用于海关分货的便携式终端，包括图形码扫描装置和数据处理装置，其中，所述数据处理装置用于执行本发明第一方面公开的基于深度学习算法的ETL调度方法中的部分或全部步骤。
与现有技术相比，本发明具有以下有益效果：
可见，本发明实施例能够实现利用不同系统的调度中心的历史调度策略，来确定每一调度任务的调度特点，并利用这些调度特点对应的参数来综合执行本次的调度，从而能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高ETL调度的效率和效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于深度学习算法的ETL调度方法的流程示意图。
图2是本发明实施例公开的一种基于深度学习算法的ETL调度装置的结构示意图。
图3是本发明实施例公开的另一种基于深度学习算法的ETL调度装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第二”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于深度学习算法的ETL调度方法及装置，能够实现利用不同系统的调度中心的历史调度策略，来确定每一调度任务的调度特点，并利用这些调度特点对应的参数来综合执行本次的调度，从而能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高ETL调度的效率和效果。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于深度学习算法的ETL调度方法的流程示意图。其中，图1所描述的基于深度学习算法的ETL调度方法应用于数据处理芯片、处理终端或处理服务器（其中，该处理服务器可以为本地服务器或云服务器）中。如图1所示，该基于深度学习算法的ETL调度方法可以包括以下操作：
101、获取多个ETL调度中心发送的针对目标调度任务组中的至少两个调度任务的历史调度策略。
具体的，目标调度任务组包括有多个调度任务。
102、根据每一历史调度策略，确定每一调度任务对应的历史调度参数。
103、根据每一ETL调度中心对应的中心设备参数和调度历史记录，确定每一调度任务对应的调度准确性参数。
104、根据每一调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一调度任务对应的调度优先级参数。
105、根据所有调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定目标调度任务组对应的任务执行策略。
可见，上述发明实施例能够实现利用不同系统的调度中心的历史调度策略，来确定每一调度任务的调度特点，并利用这些调度特点对应的参数来综合执行本次的调度，从而能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高ETL调度的效率和效果。
作为一个可选的实施例，任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种；以及，上述步骤中的，根据每一调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一调度任务对应的调度优先级参数，包括：
将每一调度任务对应的任务执行参数输入至训练好的第一神经网络预测模型，以得到输出的每一调度任务对应的调度优先级参数；第一神经网络预测模型通过包括有多个训练任务执行参数和对应的调度优先级标注的训练数据集训练得到。
可选的，本发明中所述的神经网络预测模型，可以为CNN结构、RNN结构或LTSM结构的神经网络模型。
可见，通过该可选的实施例，可以根据训练好的第一神经网络预测模型预测每一调度任务对应的调度优先级参数，从而在后续可以根据这一调度优先级参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，上述步骤中的，根据每一历史调度策略，确定每一调度任务对应的历史调度参数，包括：
对于每一调度任务，确定该调度任务在任一历史调度策略中对应的历史调度优先级；
根据该调度任务在任一历史调度策略中对应的历史调度优先级，计算该调度任务对应的历史调度前位比例；历史调度前位比例为该调度任务在所有历史调度策略中的优先级在前预设位数内的次数占该调度任务在所有历史调度策略中的出现次数的比例；
根据该调度任务在任一历史调度策略中对应的历史调度优先级，以及任一历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数；
计算该调度任务对应的历史调度前位比例和历史调度场景参数的加权求和值，得到该调度任务对应的历史调度参数。
可选的，预设位数可以为30%，这是实验人员在实验中得到的较为优选的范围。
可见，通过该可选的实施例，可以根据历史调度前位比例和历史调度场景参数来确定调度任务对应的历史调度参数，从而在后续可以根据这一历史调度参数所表征的该任务在历史调度过程中的受重视程度，来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，上述步骤中的，根据该调度任务在任一历史调度策略中对应的历史调度优先级，以及任一历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数，包括：
确定本次调度的当前调度场景；
对于该调度任务在任一历史调度策略中对应的历史调度优先级，计算该历史调度策略对应的调度场景和当前调度场景的场景相似度，并计算场景相似度和历史调度优先级的乘积，以得到该调度任务在该历史调度策略中对应的调度场景参数；当前调度场景或调度场景包括客户需求分析、客户需求预测、客户通信质量分析、客户通信场景分析、客户通信费用分析和客户画像分析中的一种或多种组合的需求；
计算该调度任务在所有历史调度策略中对应的调度场景参数的平均值，以得到该调度任务对应的历史调度场景参数。
可选的，场景相似度可以通过文本相似度或是重合相似度来计算，优选的，可以根据两次调度分别对应的需求组合的交集程度，也即重合相似度，来计算场景相似度，例如两次调度分别对应的需求组合共有2个相同的需求，而总共存在12个需求，则重合相似度计算为2/12。
可见，通过该可选的实施例，可以根据场景相似度和历史调度优先级的乘积确定调度任务在历史调度策略中对应的调度场景参数，这一参数用于表征任务在类似场景下的调度受重视程度，从而在后续可以根据历史调度场景参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，上述步骤中的，根据每一ETL调度中心对应的中心设备参数和调度历史记录，确定每一调度任务对应的调度准确性参数，包括：
对于每一调度任务在任一调度策略，根据该调度策略对应的ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数；
根据该调度策略对应的ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数；
计算该调度策略对应的设备先进度参数和调度性能参数的乘积，得到该调度策略对应的调度效果参数；
计算该调度任务对应的所有调度策略的调度效果参数的平均值，确定该调度任务对应的调度准确性参数。
可见，通过该可选的实施例，可以根据设备先进度参数和调度性能参数的乘积计算调度策略对应的调度效果参数，这一参数用于表征调度策略的最终调度执行的效果好坏，从而在后续可以根据调度效果参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，中心设备参数包括处理器参数、内存参数、硬盘参数、阵列卡参数、电源参数、网络硬件参数和内存参数中的至少一种；以及，上述步骤中的，根据该调度策略对应的ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数，包括：
将该调度策略对应的ETL调度中心对应的中心设备参数，输入至训练好的第二神经网络预测模型，以得到输出的该调度策略对应的设备先进度参数；第二神经网络预测模型通过包括有多个训练中心设备参数和对应的设备先进度标注的训练数据集训练得到。
可见，通过该可选的实施例，可以根据训练好的第二神经网络预测模型预测该调度策略对应的设备先进度参数，这一参数用于表征调度策略的运算设备的设备性能先进程度，从而在后续可以根据设备先进度参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，上述步骤中的，根据该调度策略对应的ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数，包括：
根据该调度策略对应的ETL调度中心对应的调度历史记录，统计ETL调度中心在调度历史记录中计算出调度策略的平均用时的倒数，得到用时参数；
根据调度历史记录，获取ETL调度中心计算出的所有调度策略对应的调度结果参数；调度结果参数包括任务执行参数、任务执行成功率和任务执行总时间；
将调度结果参数输入至训练好的第三神经网络预测模型，以得到输出的该调度结果参数对应的调度效果预测值；第三神经网络预测模型通过包括有多个训练调度结果参数和对应的调度效果标注的训练数据集训练得到；
计算ETL调度中心对应的用时参数和调度效果预测值的乘积，得到该调度策略对应的调度性能参数。
可见，通过该可选的实施例，可以根据训练好的第三神经网络预测模型预测调度结果参数对应的调度效果预测值，并计算用时参数和调度效果预测值的乘积，得到该调度策略对应的调度性能参数，这一参数用于表征调度策略的运算设备在用时越少的情况下的调度效果，从而在后续可以根据调度性能参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，上述步骤中的，根据所有调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定目标调度任务组对应的任务执行策略，包括：
根据每一调度任务对应的历史调度参数和调度准确性参数的乘积的大小，确定每一调度任务对应的历史调度优先级参数；
确定目标调度任务组中不同类型的调度任务对应的任务执行设备；
确定目标函数为任务执行方案对应的所有调度任务的优先级信息对应的相似度差值达到最小；相似度差值为第一相似度和第二相似度的差值；第一相似度为优先级信息与历史调度优先级参数之间的相似度；第二相似度为优先级信息与调度优先级参数之间的相似度；任务执行方案为多个调度任务依照一定的执行次序所形成的执行方案；
确定约束条件为任务执行方案中的多个调度任务的执行次序能够满足所有对应的任务执行设备的启动顺序条件；启动顺序条件用于限定任一任务执行设备能否在任一其他任务执行设备之前或之后启动；
根据目标函数和约束条件，基于动态规划算法，演算出多个调度任务对应的最优的任务执行方案；
将最优的任务执行方案确定为目标调度任务组对应的任务执行策略。
可见，通过该可选的实施例，可以综合利用历史调度参数、调度准确性参数和调度优先级参数和动态规划算法来确定任务执行策略，从而能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高ETL调度的效率和效果。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于深度学习算法的ETL调度装置的结构示意图。其中，图2所描述的基于深度学习算法的ETL调度装置应用于数据处理芯片、处理终端或处理服务器（其中，该处理服务器可以为本地服务器或云服务器）中。如图2所示，该基于深度学习算法的ETL调度装置可以包括：
获取模块201，用于获取多个ETL调度中心发送的针对目标调度任务组中的至少两个调度任务的历史调度策略。
具体的，目标调度任务组包括有多个调度任务。
第一确定模块202，用于根据每一历史调度策略，确定每一调度任务对应的历史调度参数。
第二确定模块203，用于根据每一ETL调度中心对应的中心设备参数和调度历史记录，确定每一调度任务对应的调度准确性参数。
第三确定模块204，用于根据每一调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一调度任务对应的调度优先级参数。
第四确定模块205，用于根据所有调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定目标调度任务组对应的任务执行策略。
可见，上述发明实施例能够实现利用不同系统的调度中心的历史调度策略，来确定每一调度任务的调度特点，并利用这些调度特点对应的参数来综合执行本次的调度，从而能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高ETL调度的效率和效果。
作为一个可选的实施例，任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种；以及，第三确定模块204根据每一调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一调度任务对应的调度优先级参数的具体方式，包括：
将每一调度任务对应的任务执行参数输入至训练好的第一神经网络预测模型，以得到输出的每一调度任务对应的调度优先级参数；第一神经网络预测模型通过包括有多个训练任务执行参数和对应的调度优先级标注的训练数据集训练得到。
可选的，本发明中所述的神经网络预测模型，可以为CNN结构、RNN结构或LTSM结构的神经网络模型。
可见，通过该可选的实施例，可以根据训练好的第一神经网络预测模型预测每一调度任务对应的调度优先级参数，从而在后续可以根据这一调度优先级参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，第一确定模块202根据每一历史调度策略，确定每一调度任务对应的历史调度参数的具体方式，包括：
对于每一调度任务，确定该调度任务在任一历史调度策略中对应的历史调度优先级；
根据该调度任务在任一历史调度策略中对应的历史调度优先级，计算该调度任务对应的历史调度前位比例；历史调度前位比例为该调度任务在所有历史调度策略中的优先级在前预设位数内的次数占该调度任务在所有历史调度策略中的出现次数的比例；
根据该调度任务在任一历史调度策略中对应的历史调度优先级，以及任一历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数；
计算该调度任务对应的历史调度前位比例和历史调度场景参数的加权求和值，得到该调度任务对应的历史调度参数。
可选的，预设位数可以为30%，这是实验人员在实验中得到的较为优选的范围。
可见，通过该可选的实施例，可以根据历史调度前位比例和历史调度场景参数来确定调度任务对应的历史调度参数，从而在后续可以根据这一历史调度参数所表征的该任务在历史调度过程中的受重视程度，来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，第一确定模块202根据该调度任务在任一历史调度策略中对应的历史调度优先级，以及任一历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数的具体方式，包括：
确定本次调度的当前调度场景；
对于该调度任务在任一历史调度策略中对应的历史调度优先级，计算该历史调度策略对应的调度场景和当前调度场景的场景相似度，并计算场景相似度和历史调度优先级的乘积，以得到该调度任务在该历史调度策略中对应的调度场景参数；当前调度场景或调度场景包括客户需求分析、客户需求预测、客户通信质量分析、客户通信场景分析、客户通信费用分析和客户画像分析中的一种或多种组合的需求；
计算该调度任务在所有历史调度策略中对应的调度场景参数的平均值，以得到该调度任务对应的历史调度场景参数。
可选的，场景相似度可以通过文本相似度或是重合相似度来计算，优选的，可以根据两次调度分别对应的需求组合的交集程度，也即重合相似度，来计算场景相似度，例如两次调度分别对应的需求组合共有2个相同的需求，而总共存在12个需求，则重合相似度计算为2/12。
可见，通过该可选的实施例，可以根据场景相似度和历史调度优先级的乘积确定调度任务在历史调度策略中对应的调度场景参数，这一参数用于表征任务在类似场景下的调度受重视程度，从而在后续可以根据历史调度场景参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，第二确定模块203根据每一ETL调度中心对应的中心设备参数和调度历史记录，确定每一调度任务对应的调度准确性参数的具体方式，包括：
对于每一调度任务在任一调度策略，根据该调度策略对应的ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数；
根据该调度策略对应的ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数；
计算该调度策略对应的设备先进度参数和调度性能参数的乘积，得到该调度策略对应的调度效果参数；
计算该调度任务对应的所有调度策略的调度效果参数的平均值，确定该调度任务对应的调度准确性参数。
可见，通过该可选的实施例，可以根据设备先进度参数和调度性能参数的乘积计算调度策略对应的调度效果参数，这一参数用于表征调度策略的最终调度执行的效果好坏，从而在后续可以根据调度效果参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，中心设备参数包括处理器参数、内存参数、硬盘参数、阵列卡参数、电源参数、网络硬件参数和内存参数中的至少一种；以及，第二确定模块203根据该调度策略对应的ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数的具体方式，包括：
将该调度策略对应的ETL调度中心对应的中心设备参数，输入至训练好的第二神经网络预测模型，以得到输出的该调度策略对应的设备先进度参数；第二神经网络预测模型通过包括有多个训练中心设备参数和对应的设备先进度标注的训练数据集训练得到。
可见，通过该可选的实施例，可以根据训练好的第二神经网络预测模型预测该调度策略对应的设备先进度参数，这一参数用于表征调度策略的运算设备的设备性能先进程度，从而在后续可以根据设备先进度参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，第二确定模块203根据该调度策略对应的ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数的具体方式，包括：
根据该调度策略对应的ETL调度中心对应的调度历史记录，统计ETL调度中心在调度历史记录中计算出调度策略的平均用时的倒数，得到用时参数；
根据调度历史记录，获取ETL调度中心计算出的所有调度策略对应的调度结果参数；调度结果参数包括任务执行参数、任务执行成功率和任务执行总时间；
将调度结果参数输入至训练好的第三神经网络预测模型，以得到输出的该调度结果参数对应的调度效果预测值；第三神经网络预测模型通过包括有多个训练调度结果参数和对应的调度效果标注的训练数据集训练得到；
计算ETL调度中心对应的用时参数和调度效果预测值的乘积，得到该调度策略对应的调度性能参数。
可见，通过该可选的实施例，可以根据训练好的第三神经网络预测模型预测调度结果参数对应的调度效果预测值，并计算用时参数和调度效果预测值的乘积，得到该调度策略对应的调度性能参数，这一参数用于表征调度策略的运算设备在用时越少的情况下的调度效果，从而在后续可以根据调度性能参数来确定执行策略，进一步提高ETL任务调度的效率和效果。
作为一个可选的实施例，第四确定模块205根据所有调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定目标调度任务组对应的任务执行策略的具体方式，包括：
根据每一调度任务对应的历史调度参数和调度准确性参数的乘积的大小，确定每一调度任务对应的历史调度优先级参数；
确定目标调度任务组中不同类型的调度任务对应的任务执行设备；
确定目标函数为任务执行方案对应的所有调度任务的优先级信息对应的相似度差值达到最小；相似度差值为第一相似度和第二相似度的差值；第一相似度为优先级信息与历史调度优先级参数之间的相似度；第二相似度为优先级信息与调度优先级参数之间的相似度；任务执行方案为多个调度任务依照一定的执行次序所形成的执行方案；
确定约束条件为任务执行方案中的多个调度任务的执行次序能够满足所有对应的任务执行设备的启动顺序条件；启动顺序条件用于限定任一任务执行设备能否在任一其他任务执行设备之前或之后启动；
根据目标函数和约束条件，基于动态规划算法，演算出多个调度任务对应的最优的任务执行方案；
将最优的任务执行方案确定为目标调度任务组对应的任务执行策略。
可见，通过该可选的实施例，可以综合利用历史调度参数、调度准确性参数和调度优先级参数和动态规划算法来确定任务执行策略，从而能够结合大规模多中心的数据处理过程中的经验来有效优化ETL作业的流程，提高ETL调度的效率和效果。
实施例三
请参阅图3，图3是本发明实施例公开的又一种基于深度学习算法的ETL调度装置。图3所描述的基于深度学习算法的ETL调度装置应用于数据处理芯片、处理终端或处理服务器（其中，该处理服务器可以为本地服务器或云服务器）中。如图3所示，该基于深度学习算法的ETL调度装置可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
其中，处理器302调用存储器301中存储的可执行程序代码，用于执行实施例一所描述的基于深度学习算法的ETL调度方法的步骤。
实施例四
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的基于深度学习算法的ETL调度方法的步骤。
实施例五
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的基于深度学习算法的ETL调度方法的步骤。
上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGateArray， FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera HardwareDescriptionLanguage)、 Confluence、CUPL(Cornell University ProgrammingLanguage)、HDCal、JHDL (Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL (RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后应说明的是：本发明实施例公开的一种基于深度学习算法的ETL调度方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习算法的ETL调度方法，其特征在于，所述方法包括：
获取多个ETL调度中心发送的针对目标调度任务组中的至少两个调度任务的历史调度策略；所述目标调度任务组包括有多个调度任务；
根据每一所述历史调度策略，确定每一所述调度任务对应的历史调度参数；
根据每一所述ETL调度中心对应的中心设备参数和调度历史记录，确定每一所述调度任务对应的调度准确性参数；
根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数；
根据所有所述调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略。
2.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种；以及，所述根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数，包括：
将每一所述调度任务对应的任务执行参数输入至训练好的第一神经网络预测模型，以得到输出的每一所述调度任务对应的调度优先级参数；所述第一神经网络预测模型通过包括有多个训练任务执行参数和对应的调度优先级标注的训练数据集训练得到。
3.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据每一所述历史调度策略，确定每一所述调度任务对应的历史调度参数，包括：
对于每一所述调度任务，确定该调度任务在任一所述历史调度策略中对应的历史调度优先级；
根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，计算该调度任务对应的历史调度前位比例；所述历史调度前位比例为该调度任务在所有所述历史调度策略中的优先级在前预设位数内的次数占该调度任务在所有历史调度策略中的出现次数的比例；
根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，以及任一所述历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数；
计算该调度任务对应的所述历史调度前位比例和所述历史调度场景参数的加权求和值，得到该调度任务对应的历史调度参数。
4.根据权利要求3所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据该调度任务在任一所述历史调度策略中对应的历史调度优先级，以及任一所述历史调度策略对应的调度场景，计算该调度任务对应的历史调度场景参数，包括：
确定本次调度的当前调度场景；
对于该调度任务在任一所述历史调度策略中对应的历史调度优先级，计算该历史调度策略对应的调度场景和当前调度场景的场景相似度，并计算所述场景相似度和所述历史调度优先级的乘积，以得到该调度任务在该历史调度策略中对应的调度场景参数；所述当前调度场景或所述调度场景包括客户需求分析、客户需求预测、客户通信质量分析、客户通信场景分析、客户通信费用分析和客户画像分析中的一种或多种组合的需求；
计算该调度任务在所有所述历史调度策略中对应的所述调度场景参数的平均值，以得到该调度任务对应的历史调度场景参数。
5.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据每一所述ETL调度中心对应的中心设备参数和调度历史记录，确定每一所述调度任务对应的调度准确性参数，包括：
对于每一所述调度任务在任一所述调度策略，根据该调度策略对应的所述ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数；
根据该调度策略对应的所述ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数；
计算该调度策略对应的设备先进度参数和调度性能参数的乘积，得到该调度策略对应的调度效果参数；
计算该调度任务对应的所有所述调度策略的所述调度效果参数的平均值，确定该调度任务对应的调度准确性参数。
6.根据权利要求5所述的基于深度学习算法的ETL调度方法，其特征在于，所述中心设备参数包括处理器参数、内存参数、硬盘参数、阵列卡参数、电源参数、网络硬件参数和内存参数中的至少一种；以及，所述根据该调度策略对应的所述ETL调度中心对应的中心设备参数，计算该调度策略对应的设备先进度参数，包括：
将该调度策略对应的所述ETL调度中心对应的中心设备参数，输入至训练好的第二神经网络预测模型，以得到输出的该调度策略对应的设备先进度参数；所述第二神经网络预测模型通过包括有多个训练中心设备参数和对应的设备先进度标注的训练数据集训练得到。
7.根据权利要求5所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据该调度策略对应的所述ETL调度中心对应的调度历史记录，计算该调度策略对应的调度性能参数，包括：
根据该调度策略对应的所述ETL调度中心对应的调度历史记录，统计所述ETL调度中心在所述调度历史记录中计算出调度策略的平均用时的倒数，得到用时参数；
根据所述调度历史记录，获取所述ETL调度中心计算出的所有调度策略对应的调度结果参数；所述调度结果参数包括任务执行参数、任务执行成功率和任务执行总时间；
将所述调度结果参数输入至训练好的第三神经网络预测模型，以得到输出的该调度结果参数对应的调度效果预测值；所述第三神经网络预测模型通过包括有多个训练调度结果参数和对应的调度效果标注的训练数据集训练得到；
计算所述ETL调度中心对应的所述用时参数和所述调度效果预测值的乘积，得到该调度策略对应的调度性能参数。
8.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据所有所述调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略，包括：
根据每一所述调度任务对应的历史调度参数和调度准确性参数的乘积的大小，确定每一所述调度任务对应的历史调度优先级参数；
确定所述目标调度任务组中不同类型的所述调度任务对应的任务执行设备；
确定目标函数为任务执行方案对应的所有调度任务的优先级信息对应的相似度差值达到最小；所述相似度差值为第一相似度和第二相似度的差值；所述第一相似度为所述优先级信息与所述历史调度优先级参数之间的相似度；所述第二相似度为所述优先级信息与所述调度优先级参数之间的相似度；所述任务执行方案为所述多个调度任务依照一定的执行次序所形成的执行方案；
确定约束条件为所述任务执行方案中的多个调度任务的执行次序能够满足所有对应的所述任务执行设备的启动顺序条件；所述启动顺序条件用于限定任一所述任务执行设备能否在任一其他所述任务执行设备之前或之后启动；
根据所述目标函数和所述约束条件，基于动态规划算法，演算出所述多个调度任务对应的最优的任务执行方案；
将所述最优的任务执行方案确定为所述目标调度任务组对应的任务执行策略。
9.一种基于深度学习算法的ETL调度装置，其特征在于，所述装置包括：
获取模块，用于获取多个ETL调度中心发送的针对目标调度任务组中的至少两个调度任务的历史调度策略；所述目标调度任务组包括有多个调度任务；
第一确定模块，用于根据每一所述历史调度策略，确定每一所述调度任务对应的历史调度参数；
第二确定模块，用于根据每一所述ETL调度中心对应的中心设备参数和调度历史记录，确定每一所述调度任务对应的调度准确性参数；
第三确定模块，用于根据每一所述调度任务对应的任务执行参数，和预设的神经网络预测模型，确定每一所述调度任务对应的调度优先级参数；
第四确定模块，用于根据所有所述调度任务对应的历史调度参数、调度准确性参数和调度优先级参数，确定所述目标调度任务组对应的任务执行策略。
10.一种基于深度学习算法的ETL调度装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-8任一项所述的基于深度学习算法的ETL调度方法。
CN202310777903.XA 2023-06-29 2023-06-29 基于深度学习算法的etl调度方法及装置 Active CN116521350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310777903.XA CN116521350B (zh) 2023-06-29 2023-06-29 基于深度学习算法的etl调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310777903.XA CN116521350B (zh) 2023-06-29 2023-06-29 基于深度学习算法的etl调度方法及装置

Publications (2)

Publication Number Publication Date
CN116521350A true CN116521350A (zh) 2023-08-01
CN116521350B CN116521350B (zh) 2024-03-22

Family

ID=87392522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310777903.XA Active CN116521350B (zh) 2023-06-29 2023-06-29 基于深度学习算法的etl调度方法及装置

Country Status (1)

Country Link
CN (1) CN116521350B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117221476A (zh) * 2023-11-09 2023-12-12 广州视声智能科技有限公司 基于优先级筛选的可视化对话方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160299785A1 (en) * 2015-04-09 2016-10-13 International Business Machines Corporation Datacenter scheduling of applications using machine learning techniques
CN110297694A (zh) * 2019-07-05 2019-10-01 桂林理工大学 一种基于资源分类和任务优先级的启发式云计算调度方法
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质
CN113495779A (zh) * 2020-03-20 2021-10-12 北京沃东天骏信息技术有限公司 一种任务调度方法和装置、任务执行系统
US20220229692A1 (en) * 2021-01-15 2022-07-21 Changxin Memory Technologies, Inc Method and device for data task scheduling, storage medium, and scheduling tool
CN114936085A (zh) * 2022-07-21 2022-08-23 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160299785A1 (en) * 2015-04-09 2016-10-13 International Business Machines Corporation Datacenter scheduling of applications using machine learning techniques
CN106055379A (zh) * 2015-04-09 2016-10-26 国际商业机器公司 用于调度计算任务的方法和系统
CN110297694A (zh) * 2019-07-05 2019-10-01 桂林理工大学 一种基于资源分类和任务优先级的启发式云计算调度方法
CN113495779A (zh) * 2020-03-20 2021-10-12 北京沃东天骏信息技术有限公司 一种任务调度方法和装置、任务执行系统
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质
US20220229692A1 (en) * 2021-01-15 2022-07-21 Changxin Memory Technologies, Inc Method and device for data task scheduling, storage medium, and scheduling tool
CN114936085A (zh) * 2022-07-21 2022-08-23 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117221476A (zh) * 2023-11-09 2023-12-12 广州视声智能科技有限公司 基于优先级筛选的可视化对话方法及系统
CN117221476B (zh) * 2023-11-09 2024-04-16 广州视声智能科技有限公司 基于优先级筛选的可视化对话方法及系统

Also Published As

Publication number Publication date
CN116521350B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN110163417B (zh) 一种业务量的预测方法、装置及设备
CN109144699A (zh) 分布式任务调度方法、装置及系统
CN100447744C (zh) 堆栈管理系统及方法
EP3961383A1 (en) Automatic derivation of software engineering artifact attributes with integrated distribution calculation
CN116521350B (zh) 基于深度学习算法的etl调度方法及装置
CN114936085A (zh) 基于深度学习算法的etl调度方法及装置
CN110852503B (zh) 一种支付渠道的选择方法和设备、支付渠道路由
JP2022500768A (ja) 熱負荷予測方法、装置、読み取り可能な媒体及び電子機器
CN116302898A (zh) 一种任务治理方法、装置、存储介质及电子设备
CN115774552A (zh) 配置化的算法设计方法、装置、电子设备及可读存储介质
CN117370034B (zh) 一种算力调度系统评估方法、装置、存储介质及电子设备
CN117370536B (zh) 一种任务执行方法、装置、存储介质及电子设备
CN117421129B (zh) 一种基于异构存储集群的业务执行方法、装置及电子设备
US20230325235A1 (en) Training task queuing cause analysis method and system, device and medium
CN113298445B (zh) 一种模型训练和调度无人设备的方法及装置
CN111124685A (zh) 大数据处理方法、装置、电子设备和存储介质
CN116821647B (zh) 基于样本偏离评估的数据标注的优化方法、装置及设备
CN116822606A (zh) 一种异常检测模型的训练方法、装置、设备及存储介质
CN116151466A (zh) 一种企业风险预警模型的训练方法、装置、介质及设备
CN109766181A (zh) 一种基于深度学习的rms可调度性判定方法及装置
CN111242195B (zh) 模型、保险风控模型训练方法、装置及电子设备
CN118071100B (zh) 用于警力治安的多维度时空数据处理方法及系统
CN112862138A (zh) 一种热负荷预测方法、装置、可读介质及电子设备
CN117688351B (zh) 一种基于模型处理结果的辅助甄别方法、装置及设备
CN116684499B (zh) 一种基于多网协同的智能调音台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant