CN107888669A - 一种基于深度学习神经网络的大规模资源调度系统及方法 - Google Patents

一种基于深度学习神经网络的大规模资源调度系统及方法 Download PDF

Info

Publication number
CN107888669A
CN107888669A CN201711049152.0A CN201711049152A CN107888669A CN 107888669 A CN107888669 A CN 107888669A CN 201711049152 A CN201711049152 A CN 201711049152A CN 107888669 A CN107888669 A CN 107888669A
Authority
CN
China
Prior art keywords
task
module
resource
user
scheduler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711049152.0A
Other languages
English (en)
Other versions
CN107888669B (zh
Inventor
邹承明
刘春燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201711049152.0A priority Critical patent/CN107888669B/zh
Publication of CN107888669A publication Critical patent/CN107888669A/zh
Application granted granted Critical
Publication of CN107888669B publication Critical patent/CN107888669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习神经网络的大规模资源调度系统及方法，系统包括至少一个调度控制模块和至少两个执行模块；调度控制模块用于接收用户请求，分配调度资源，并行计算状态反馈；执行模块用于接收调度控制模块发送的任务请求，开辟内存空间进行计算。本发明提供用户任务请求界面，调度器接收到提交的任务请求信息，通过深度学习神经网络对任务进行预测判定是否满足用户对任务完成情况的预期，从而确定资源调度策略的初始化参数。调度器根据资源调度策略进行任务的分割并分配给执行模块完成计算。执行模块对任务进行计算整理的同时将资源信息反馈给调度控制模块统一完成用户任务。

Description

一种基于深度学习神经网络的大规模资源调度系统及方法
技术领域
本发明属于资源调度技术领域，涉及一种基于深度学习神经网络的大规模资源调度系统及方法。
背景技术
随着互联网技术的发展，资源调度技术日渐成熟，现有的资源调度程序一般是根据对资源池资源负载的动态监控合理出发资源调度规则，实现资源池中物理服务器之间重新分布虚拟机。当待分配的资源过大，远远超出了资源调度规则的范围，可能会导致资源调度的不合理，甚至是资源调度的失败。
目前，现在使用的大规模资源调度方法大致有以下几种：
一种是采用集群式的方式对深度神经网络进行分布式训练进而进行分布式资源调度，该资源调度模式缺乏集中管理功能；另一种是利用GPU对神经网络的学习过程进行加速处理，但此类方法对硬件的要求较高且不易扩展，主要应用于中、小规模的资源调度。
发明内容：
为了解决上述技术问题，本发明提出了一种基于深度神经网络的大规模资源调度系统及方法，利用深度神经网络的并行特点将训练模型以分布式形式处理数据集，动态执行资源调度，有效地解决了现有大规模资源调度方式缺少分布式并行执行功能的问题。
本发明的系统所采用的技术方案是：一种基于深度学习神经网络的大规模资源调度系统，其特征在于：包括至少一个调度控制模块和至少两个执行模块；所述调度控制模块用于接收用户请求，分配调度资源，并行计算状态反馈；所述执行模块用于接收调度控制模块发送的任务请求，开辟内存空间进行计算。
本发明的方法所采用的技术方案是：一种基于深度学习神经网络的大规模资源调度方法，其特征在于，包括以下步骤：
步骤1：用户配置任务请求；
步骤2：调度控制模块接收到用户任务请求信息，判断任务所调度应用的类型；根据用户的服务请求，利用深度学习神经网络进行预测分析资源的需求量，并判断处理后的可能结果是否符合用户的需求；
如果预测结果不符合用户需求，重新进行资源需求量的分析，并考虑应用性能，物理节点个数的分配，直到得到满足用户需求的预测分析结果；
如果预测结果符合用户需求，将分析结果发布给调度控制模块的调度器；
步骤3：调度器根据预测的结果以及虚拟资源的适用情况，分割用户任务；同时执行模块将本模块的资源情况发送给调度控制模块的回调并行计算模块；调度器综合评估任务及执行模块之间的匹配，当执行模块无法保证该任务的完成质量时，则通过深度神经网络预测出执行模块的处理能力和预判出对该任务的迁移，选择合适的执行器进行计算；
步骤4：回调并行计算模块接收到各个执行模块的任务处理情况以及资源的使用情况，判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移。
随着互联网技术的发展，资源调度技术日渐成熟，现有的资源调度程序一般是根据对资源池资源负载的动态监控合理出发资源调度规则，实现资源池中物理服务器之间重新分布虚拟机。当待分配的资源过大，远远超出了资源调度规则的范围，可能会导致资源调度的不合理，甚至是资源调度的失败。
目前，现在使用的大规模资源调度方法大致有以下几种：
一种是采用集群式的方式对深度神经网络进行分布式训练进而进行分布式资源调度，该资源调度模式缺乏集中管理功能；另一种是利用GPU对神经网络的学习过程进行加速处理，但此类方法对硬件的要求较高且不易扩展，主要应用于中、小规模的资源调度。
相对于现有技术，本发明提出了深度神经网络模型在分布式内存中的计算方法，有效地提升了深度神经网络的训练效率，特别是针对大规模任务请求，保证了系统的稳定性，有效的解决了集群式的数据管理模式的种种弊端。本发明在资源调度上采用智能调度算法，通过深度神经网络的分布式内存计算方法，将大规模任务调度分解成适合执行模块计算的中、小规模调度，调度控制模块和执行模块各司其职，提高了系统的稳定性及可扩展性。
附图说明
图1为本发明实施例的系统整体架构示意图；
图2为本发明实施例的深度学习神经网络模型体系结构示意图；
图3为本发明实施例的方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1和图2，本发明提供的一种深度神经网络大规模资源调度系统，包括至少一个调度控制模块和至少两个执行模块。调度控制模块是整个分布式资源调度的核心，它的任务：接收用户请求，分配调度资源，并行计算状态反馈；执行模块是任务计算的运行体，它的任务：接收调度控制模块发送的任务请求，开辟内存空间进行计算。
本实施例的用户请求由用户输入信息，包括：任务组，任务描述，计划完成时间，工作处理程序，报警信息，任务负责人以及计划完成预期结果。
调度控制模块中，接收用户请求即将用户输入的请求信息收集整理。包括：调度池，调度器，调度任务模块，回调并行计算模块以及调度日志模块；调度池用于存储线程资源；调度器用于分配调度资源即根据用户的输入请求，将任务分割成若干个子任务，根据请求中获取的信息选择任务调度机制，完成分布式资源调度。调度任务模块用于记录任务的执行状态及结果；回调并行计算模块负责各执行模块之间建立通讯，实时接收执行模块的运行状态，包括：资源占有率，任务执行程度；调度日志模块用于保存调度日志及执行日志，并可以查看和修改。
调度执行模块包括任务请求模块和并行计算模块。执行模块的处理中心会根据调度控制模块发送的分布调度资源请求信息安排执行任务。并行计算模块进行任务计算并返回计算结果，同时会分时间段向调度控制模块发送任务计算反馈信息，包括任务运行速度，开启任务节点数。
深度神经网络模型采用分布式数据集。将神经网络模型复制多个副本，分别在各执行模块的数据集中进行并行训练，提高模型的训练速度。同时将训练结果参数值传送给模型参数数据集。
图1展示了分布式资源调度系统的整体架构。用户输入请求后提交，交由调度模块执行资源分布式调度，将用户提交的任务数根据用户请求，合理调度到各个执行模块进行并行计算，然后将计算得到的结果交由调度模块整合输出给用户。
图2展示了深度学习神经网络模型的体系结构。用户提交的任务被分割成若干个子任务，并通过调度模块中的资源调度方法分配到多台计算机内存上。同时深度神经网络训练模型创建多个副本分别对每个计算机上的子任务模块进行训练，训练结束之后，将结果异步传输给调度模块。
本实施例的用户界面为用户提供可视化用户请求信息输入，该界面上可以具有供用户输请求信息的接口。本发明中涉及到的请求信息具有可以包括：任务组，任务描述，计划完成时间，工作处理程序，报警信息，任务负责人以及计划完成预期结果。其中任务组是必填项，其余可以选填，如果没有填写计划完成时间和计划完成预期结果，调度模块即采用默认任务完成效率最高的资源调度方式。
其中，在使用本发明提供的任务调度系统配置新建任务时，用户首先需要登录深度神经网络大规模资源调度系统，用户登录成功后，方可在用户界面进行请求信息的设置。
资源调度中心用于接收来自用户提交的任务，并根据请求执行相应的逻辑业务操作。本模块还可用于接收外部输入的任务资源查询指令，包括：提交用户、用户名称、用户单号、负责人姓名、任务创建时间和任务结束时间。用户可以输入指定的指令，以实现对任务的执行、暂停以及对日志的编辑、修改、删除等功能。
需要说明的是，本发明中的调度模块仅负责接收用户请求信息，执行资源调度等操作，所有任务的调度参数，调度日志都保持在调度模块，该模块不负责业务逻辑，所有的资源调度执行则由执行模块负责管理。这样可以将“调度”和“执行”分为两部分，分别进行操作，有利于提高整个系统的稳定性及可扩展性。
请见图3，本发明提供的一种基于深度学习神经网络的大规模资源调度方法，包括以下步骤：
步骤1：登录用户任务调度中心，用户通过页面配置任务请求。
步骤2：调度控制模块接收到用户的任务请求信息，判断任务所调度应用的类型；根据用户的服务请求，利用深度学习神经网络进行预测分析资源的需求量(将系统接收的用户任务请求数据进行分片，然后分布到执行模块的内存空间上。训练数据用随机采样的方式分别在不同的执行模块中分区进行，模型训练的过程中直接从采样数据中提取数据，不用每次通过调度控制模块读取数据。采样数据集以固定的时间间隔从调度控制模块刷新采样样板集。同时，执行模块将数据分片计算的过程信息反馈到调度控制模块)，并判断处理后(将历史用户请求数据随机选取80％为测试数据，20％为验证数据；当训练满足误差性能指标时，停止训练。然后将当前用户任务请求数据导入深度学习神经网络，计算出预测输出结果)的可能结果是否符合用户的需求；
如果预测结果不符合用户需求，重新进行资源需求量的分析，并考虑应用性能，物理节点个数的分配(根据执行模块的反馈资源信息，结合预测分析结果中用户任务完成结果的偏移量，调节资源调度策略中的初始参数，包括资源的计算性能参数，资源的执行参数)，直到得到满足用户需求的预测分析结果；
如果预测结果符合用户需求，将分析结果发布给调度控制模块的调度器；
本实施例的深度神经网络预测学习方法如下：
步骤2.1：用户在任务请求管理界面输入任务组、任务描述、计划完成时间、工作处理程序、报警信息、任务负责人以及计划完成预期结果。将此任务提交给调度控制模块。
步骤2.2调度控制模块中的调度器接收到任务请求信息后，开始启动深度神经网络预测功能。
步骤2.3根据用户输入的信息参数，构建成一个分布式的数据集。采用自适应学习速率方法进行自动调整学习速率。学习速率公式如下所示：
其中，εi,k为第i个结点在第k次迭代时的学习速率。δ为第i个结点的常数，ωi为第i个结点的自适应学习效率梯度值；
步骤2.4深度神经网络自适应模拟训练。每次有任务信息输入时，网络采样一个随机结构。
步骤2.5调度器根据学习预测分析结果的资源配置情况，向调度池请求线程资源。同时利用深度神经网络的自学习状态模拟任务请求的执行度，从而得出该资源的配置是否能满足用户的请求。如果不能达到用户的预期值，返回步骤2.4，重新调整参数配置进行模拟，直至达到用户满意的结果；如果达到用户的预期值，进入到步骤2.6。
步骤2.6经过深度神经网络的学习模拟预测，初步判定符合用户的预期满意值，准备执行任务资源调度。
步骤2.7调度任务模块接收来自执行模块的资源使用情况，包括应用性能指标、计算性能指标、资源利用率等。由调度任务模块中的任务调度策略分割任务，并统筹执行任务资源调度。
步骤2.8通过线程资源向执行模块发起调度请求。执行模块根据调度请求进行对应的业务逻辑计算，并在计算过程中向调度控制模块的调度任务模块反馈任务执行状态及过程结果。同时通过回调并行计算模块完成各个执行模块之间的通讯。
步骤2.9回调并行计算模块接收到各个执行模块当前的任务处理状态，以及执行模块发送的任务迁移请求，向调度任务模块发出反馈信息。调度任务模块，判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移。
步骤2.10系统采用创建多个执行模块并行化进行数据处理，且每个执行模块由多个数据分片组成，提高了运行效率。各执行模块计算后，将数据处理结果传递给调度任务模块数据集，并向调度任务模块申请新的执行任务。
步骤3：调度器根据预测的结果以及虚拟资源的适用情况，分割用户任务。同时执行模块也会将本模块的资源情况，包括应用性能指标、计算性能指标等发送给调度控制模块的回调并行计算模块。调度器综合评估任务及执行模块之间的匹配，当执行模块无法保证该任务的完成质量时，可以通过深度神经网络预测出执行模块的处理能力和预判出对该任务的迁移，选择合适的执行器进行计算。这里的合适指的是执行器的利用率，内存情况，执行效率适合任务的计算要求。
步骤4：回调并行计算模块接收到各个执行模块的任务处理情况以及资源的使用情况，判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习神经网络的大规模资源调度系统，其特征在于：包括至少一个调度控制模块和至少两个执行模块；所述调度控制模块用于接收用户请求，分配调度资源，并行计算状态反馈；所述执行模块用于接收调度控制模块发送的任务请求，开辟内存空间进行计算。
2.根据权利要求1所述的基于深度学习神经网络的大规模资源调度系统，其特征在于：所述用户请求包括任务组、任务描述、计划完成时间、工作处理程序、报警信息、任务负责人以及计划完成预期结果。
3.根据权利要求1所述的基于深度学习神经网络的大规模资源调度系统，其特征在于：所述调度控制模块包括调度池、调度器、调度任务模块、回调并行计算模块、调度日志模块；所述调度池用于存储线程资源；所述调度器用于根据用户的输入请求，将任务分割成若干个子任务，根据请求中获取的信息选择任务调度机制，完成分布式资源调度；所述调度任务模块用于记录任务的执行状态及结果；所述回调并行计算模块负责各执行模块之间建立通讯，实时接收执行模块的运行状态，运行状态包括：资源占有率，任务执行程度；所述调度日志模块用于保存调度日志及执行日志，并能查看和修改。
4.根据权利要求1所述的基于深度学习神经网络的大规模资源调度系统，其特征在于：所述调度执行模块包括任务请求模块和并行计算模块；所述执行模块的处理中心根据调度控制模块发送的分布调度资源请求信息安排执行任务；所述并行计算模块进行任务计算并返回计算结果，同时分时间段向调度控制模块发送任务计算反馈信息，包括任务运行速度，开启任务节点数。
5.一种基于深度学习神经网络的大规模资源调度方法，其特征在于，包括以下步骤：
步骤1：用户配置任务请求；
步骤2：调度控制模块接收到用户任务请求信息，判断任务所调度应用的类型；根据用户的服务请求，利用深度学习神经网络进行预测分析资源的需求量，并判断处理后的可能结果是否符合用户的需求；
如果预测结果不符合用户需求，重新进行资源需求量的分析，并考虑应用性能，物理节点个数的分配，直到得到满足用户需求的预测分析结果；
如果预测结果符合用户需求，将分析结果发布给调度控制模块的调度器；
步骤3：调度器根据预测的结果以及虚拟资源的适用情况，分割用户任务；同时执行模块将本模块的资源情况发送给调度控制模块的回调并行计算模块；调度器综合评估任务及执行模块之间的匹配，当执行模块无法保证该任务的完成质量时，则通过深度神经网络预测出执行模块的处理能力和预判出对该任务的迁移，选择合适的执行器进行计算；
步骤4：回调并行计算模块接收到各个执行模块的任务处理情况以及资源的使用情况，判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移。
6.根据权利要求5所述的基于深度学习神经网络的大规模资源调度方法，其特征在于，步骤2中所述利用深度学习神经网络进行预测分析资源的需求量，具体实施过程包括以下子步骤：
步骤2.1：用户输入任务组、任务描述、计划完成时间、工作处理程序、报警信息、任务负责人以及计划完成预期结果，将此任务提交给调度控制模块；
步骤2.2：调度控制模块中的调度器接收到任务请求信息后，开始启动深度神经网络预测功能；
步骤2.3：根据用户输入的信息参数，构建成一个分布式的数据集；采用自适应学习速率方法进行自动调整学习速率；
学习速率公式为：
<mrow> <msub> <mi>&amp;epsiv;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;delta;</mi> <mi>i</mi> </msub> <msqrt> <mrow> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <msubsup> <mi>&amp;omega;</mi> <mi>i</mi> <mn>2</mn> </msubsup> </mrow> </msqrt> </mfrac> <mo>;</mo> </mrow>
其中，εi,k为第i个结点在第k次迭代时的学习速率，δ为第i个结点的常数，ωi为第i个结点的自适应学习效率梯度值；
步骤2.4：深度神经网络自适应模拟训练；每次有任务信息输入时，网络采样一个随机结构；
步骤2.5：调度器根据学习预测分析结果的资源配置情况，向调度池请求线程资源；同时利用深度神经网络的自学习状态模拟任务请求的执行度，从而得出该资源的配置是否能满足用户的请求；
如果不能达到用户的预期值，返回步骤2.4，重新调整参数配置进行模拟，直至达到用户满意的结果；如果达到用户的预期值，进入到步骤2.6；
步骤2.6：经过深度神经网络的学习模拟预测，初步判定符合用户的预期满意值，准备执行任务资源调度；
步骤2.7：调度任务模块接收来自执行模块的资源使用情况，由调度任务模块中的任务调度策略分割任务，并统筹执行任务资源调度；
步骤2.8：通过线程资源向执行模块发起调度请求；执行模块根据调度请求进行对应的业务逻辑计算，并在计算过程中向调度控制模块的调度任务模块反馈任务执行状态及过程结果；同时通过回调并行计算模块完成各个执行模块之间的通讯；
步骤2.9：回调并行计算模块接收到各个执行模块当前的任务处理状态，以及执行模块发送的任务迁移请求，向调度任务模块发出反馈信息；调度任务模块判断出各个执行模块是否过载或低载，并将分析结果提交给调度器，由调度器根据任务调度策略进行任务的迁移；
步骤2.10：创建多个执行模块并行化进行数据处理，且每个执行模块由多个数据分片组成；各执行模块计算后，将数据处理结果传递给调度任务模块数据集，并向调度任务模块申请新的执行任务。
7.根据权利要求5所述的基于深度学习神经网络的大规模资源调度方法，其特征在于：步骤2中所述判断处理后的可能结果，是将历史用户请求数据随机选取80％为测试数据，20％为验证数据；当训练满足误差性能指标时，停止训练；然后将当前用户任务请求数据导入深度学习神经网络，计算出预测输出结果。
8.根据权利要求5所述的基于深度学习神经网络的大规模资源调度方法，其特征在于：步骤2中所述考虑应用性能，物理节点个数的分配，是根据执行模块的反馈资源信息，结合预测分析结果中用户任务完成结果的偏移量，调节资源调度策略中的初始参数，包括资源的计算性能参数，资源的执行参数。
9.根据权利要求5所述的基于深度学习神经网络的大规模资源调度方法，其特征在于：步骤3中，执行模块的资源情况包括应用性能指标、计算性能指标。
10.根据权利要求5所述的基于深度学习神经网络的大规模资源调度方法，其特征在于：步骤3中所述选择合适的执行器进行计算，其中合适指的是执行器的利用率、内存情况、执行效率适合任务的计算要求。
CN201711049152.0A 2017-10-31 2017-10-31 一种基于深度学习神经网络的大规模资源调度系统及方法 Active CN107888669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711049152.0A CN107888669B (zh) 2017-10-31 2017-10-31 一种基于深度学习神经网络的大规模资源调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711049152.0A CN107888669B (zh) 2017-10-31 2017-10-31 一种基于深度学习神经网络的大规模资源调度系统及方法

Publications (2)

Publication Number Publication Date
CN107888669A true CN107888669A (zh) 2018-04-06
CN107888669B CN107888669B (zh) 2020-06-09

Family

ID=61783281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711049152.0A Active CN107888669B (zh) 2017-10-31 2017-10-31 一种基于深度学习神经网络的大规模资源调度系统及方法

Country Status (1)

Country Link
CN (1) CN107888669B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595267A (zh) * 2018-04-18 2018-09-28 中国科学院重庆绿色智能技术研究院 一种基于深度强化学习的资源调度方法和系统
CN108829505A (zh) * 2018-06-28 2018-11-16 北京奇虎科技有限公司 一种分布式调度系统及方法
CN108876702A (zh) * 2018-06-21 2018-11-23 北京邮电大学 一种加速分布式深度神经网络的训练方法及装置
CN108897608A (zh) * 2018-05-31 2018-11-27 中国科学院软件研究所 一种数据驱动可扩展的智能通用任务调度系统
CN109063978A (zh) * 2018-07-12 2018-12-21 南京邮电大学 能源互联网资源调度方法及系统、可读存储介质和终端
CN109062700A (zh) * 2018-08-21 2018-12-21 郑州云海信息技术有限公司 一种基于分布式系统的资源管理方法及服务器
CN109240814A (zh) * 2018-08-22 2019-01-18 湖南舜康信息技术有限公司 一种基于TensorFlow的深度学习智能调度方法和系统
CN109324901A (zh) * 2018-09-20 2019-02-12 北京京东尚科信息技术有限公司 基于区块链的深度学习分布式计算方法、系统和节点
CN109996247A (zh) * 2019-03-27 2019-07-09 中国电子科技集团公司信息科学研究院 网络化资源调配方法、装置、设备及存储介质
CN110059186A (zh) * 2019-04-04 2019-07-26 上海申康医院发展中心 一种医学术语校对任务分配的方法
CN110390387A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 对深度学习应用所用资源进行评估
CN110389763A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质
CN110389816A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于资源调度的方法、装置以及计算机程序产品
CN110620797A (zh) * 2018-06-19 2019-12-27 中移（杭州）信息技术有限公司 一种节点交付方法、装置、电子设备及存储介质
CN110659288A (zh) * 2019-09-17 2020-01-07 中国南方电网有限责任公司 案例出清计算方法、系统、装置、计算机设备和存储介质
CN110750342A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN110825502A (zh) * 2018-08-10 2020-02-21 北京百度网讯科技有限公司 神经网络处理器和用于神经网络处理器的任务调度方法
EP3621085A1 (en) * 2018-09-04 2020-03-11 Koninklijke Philips N.V. Resource scheduling in adaptive radiation therapy planning
CN111274036A (zh) * 2020-01-21 2020-06-12 南京大学 一种基于速度预测的深度学习任务的调度方法
CN111860852A (zh) * 2019-04-30 2020-10-30 百度时代网络技术（北京）有限公司 用于处理数据的方法、装置和系统
CN112463313A (zh) * 2020-11-05 2021-03-09 苏州浪潮智能科技有限公司 一种监控系统的任务调度方法、装置、设备及存储介质
CN112749000A (zh) * 2021-01-31 2021-05-04 云知声智能科技股份有限公司 基于k8s自动拓展强化学习任务调度方法、装置及系统
WO2021142609A1 (zh) * 2020-01-14 2021-07-22 Oppo广东移动通信有限公司 信息上报方法、装置、设备和存储介质
CN113168216A (zh) * 2018-10-26 2021-07-23 戴尔产品有限公司 用于预测系统响应的聚合随机方法
CN113283171A (zh) * 2021-05-27 2021-08-20 上海交通大学 工业平台资源优化分配装置及方法
CN113419830A (zh) * 2021-06-23 2021-09-21 鹤壁国立光电科技股份有限公司 一种基于神经网络的多维度调度方法及系统
CN113485801A (zh) * 2021-06-25 2021-10-08 中国科学技术大学苏州高等研究院 基于神经网络相似度建模的实时dnn调度系统及方法
WO2021248423A1 (zh) * 2020-06-12 2021-12-16 华为技术有限公司 人工智能资源的调度方法、装置、存储介质和芯片
WO2022011946A1 (zh) * 2020-10-23 2022-01-20 平安科技（深圳）有限公司 一种数据预测方法、装置、计算机设备及存储介质
WO2022088612A1 (zh) * 2020-10-27 2022-05-05 上海商汤临港智能科技有限公司 任务处理方法、装置、设备、系统及存储介质
CN116450657A (zh) * 2023-06-19 2023-07-18 北京好心情互联网医院有限公司 数据分片调度方法、装置、设备及存储介质
CN116991781A (zh) * 2023-09-25 2023-11-03 京东科技信息技术有限公司 一种请求处理装置、方法、芯片、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
WO2016057001A1 (en) * 2014-10-09 2016-04-14 Cloudradigm Pte. Ltd. A computer implemented method and system for automatically modelling a problem and orchestrating candidate algorithms to solve the problem
CN106529673A (zh) * 2016-11-17 2017-03-22 北京百度网讯科技有限公司 基于人工智能的深度学习网络训练方法及装置
CN106529682A (zh) * 2016-10-28 2017-03-22 北京奇虎科技有限公司 一种在大数据集群中处理深度学习任务的方法和装置
CN106817256A (zh) * 2017-01-10 2017-06-09 北京国电通网络技术有限公司 一种分布式系统网络资源运维管理可靠性提升方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
WO2016057001A1 (en) * 2014-10-09 2016-04-14 Cloudradigm Pte. Ltd. A computer implemented method and system for automatically modelling a problem and orchestrating candidate algorithms to solve the problem
CN106529682A (zh) * 2016-10-28 2017-03-22 北京奇虎科技有限公司 一种在大数据集群中处理深度学习任务的方法和装置
CN106529673A (zh) * 2016-11-17 2017-03-22 北京百度网讯科技有限公司 基于人工智能的深度学习网络训练方法及装置
CN106817256A (zh) * 2017-01-10 2017-06-09 北京国电通网络技术有限公司 一种分布式系统网络资源运维管理可靠性提升方法

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595267A (zh) * 2018-04-18 2018-09-28 中国科学院重庆绿色智能技术研究院 一种基于深度强化学习的资源调度方法和系统
CN110390387A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 对深度学习应用所用资源进行评估
CN110389816A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于资源调度的方法、装置以及计算机程序产品
CN110389763B (zh) * 2018-04-20 2023-06-16 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质
CN110389763A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质
CN110390387B (zh) * 2018-04-20 2023-07-18 伊姆西Ip控股有限责任公司 对深度学习应用所用资源进行评估
CN108897608B (zh) * 2018-05-31 2021-09-07 中国科学院软件研究所 一种数据驱动可扩展的智能通用任务调度系统
CN108897608A (zh) * 2018-05-31 2018-11-27 中国科学院软件研究所 一种数据驱动可扩展的智能通用任务调度系统
CN110620797A (zh) * 2018-06-19 2019-12-27 中移（杭州）信息技术有限公司 一种节点交付方法、装置、电子设备及存储介质
CN108876702A (zh) * 2018-06-21 2018-11-23 北京邮电大学 一种加速分布式深度神经网络的训练方法及装置
CN108829505A (zh) * 2018-06-28 2018-11-16 北京奇虎科技有限公司 一种分布式调度系统及方法
CN109063978A (zh) * 2018-07-12 2018-12-21 南京邮电大学 能源互联网资源调度方法及系统、可读存储介质和终端
CN110825502A (zh) * 2018-08-10 2020-02-21 北京百度网讯科技有限公司 神经网络处理器和用于神经网络处理器的任务调度方法
CN109062700A (zh) * 2018-08-21 2018-12-21 郑州云海信息技术有限公司 一种基于分布式系统的资源管理方法及服务器
CN109240814A (zh) * 2018-08-22 2019-01-18 湖南舜康信息技术有限公司 一种基于TensorFlow的深度学习智能调度方法和系统
US11633624B2 (en) 2018-09-04 2023-04-25 Koninklijke Philips N.V. Resource scheduling in adaptive radiation therapy planning
EP3621085A1 (en) * 2018-09-04 2020-03-11 Koninklijke Philips N.V. Resource scheduling in adaptive radiation therapy planning
CN109324901B (zh) * 2018-09-20 2021-09-03 北京京东尚科信息技术有限公司 基于区块链的深度学习分布式计算方法、系统和节点
CN109324901A (zh) * 2018-09-20 2019-02-12 北京京东尚科信息技术有限公司 基于区块链的深度学习分布式计算方法、系统和节点
CN113168216A (zh) * 2018-10-26 2021-07-23 戴尔产品有限公司 用于预测系统响应的聚合随机方法
CN109996247B (zh) * 2019-03-27 2022-03-11 中国电子科技集团公司信息科学研究院 网络化资源调配方法、装置、设备及存储介质
CN109996247A (zh) * 2019-03-27 2019-07-09 中国电子科技集团公司信息科学研究院 网络化资源调配方法、装置、设备及存储介质
CN110059186A (zh) * 2019-04-04 2019-07-26 上海申康医院发展中心 一种医学术语校对任务分配的方法
CN111860852A (zh) * 2019-04-30 2020-10-30 百度时代网络技术（北京）有限公司 用于处理数据的方法、装置和系统
CN110750342A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN110750342B (zh) * 2019-05-23 2020-10-09 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN110659288A (zh) * 2019-09-17 2020-01-07 中国南方电网有限责任公司 案例出清计算方法、系统、装置、计算机设备和存储介质
WO2021142609A1 (zh) * 2020-01-14 2021-07-22 Oppo广东移动通信有限公司 信息上报方法、装置、设备和存储介质
CN111274036A (zh) * 2020-01-21 2020-06-12 南京大学 一种基于速度预测的深度学习任务的调度方法
CN111274036B (zh) * 2020-01-21 2023-11-07 南京大学 一种基于速度预测的深度学习任务的调度方法
WO2021248423A1 (zh) * 2020-06-12 2021-12-16 华为技术有限公司 人工智能资源的调度方法、装置、存储介质和芯片
CN114145006A (zh) * 2020-06-12 2022-03-04 华为技术有限公司 人工智能资源的调度方法、装置、存储介质和芯片
WO2022011946A1 (zh) * 2020-10-23 2022-01-20 平安科技（深圳）有限公司 一种数据预测方法、装置、计算机设备及存储介质
WO2022088612A1 (zh) * 2020-10-27 2022-05-05 上海商汤临港智能科技有限公司 任务处理方法、装置、设备、系统及存储介质
CN112463313B (zh) * 2020-11-05 2022-06-07 苏州浪潮智能科技有限公司 一种监控系统的任务调度方法、装置、设备及存储介质
CN112463313A (zh) * 2020-11-05 2021-03-09 苏州浪潮智能科技有限公司 一种监控系统的任务调度方法、装置、设备及存储介质
CN112749000B (zh) * 2021-01-31 2024-06-11 云知声智能科技股份有限公司 基于k8s自动拓展强化学习任务调度方法、装置及系统
CN112749000A (zh) * 2021-01-31 2021-05-04 云知声智能科技股份有限公司 基于k8s自动拓展强化学习任务调度方法、装置及系统
CN113283171A (zh) * 2021-05-27 2021-08-20 上海交通大学 工业平台资源优化分配装置及方法
CN113419830A (zh) * 2021-06-23 2021-09-21 鹤壁国立光电科技股份有限公司 一种基于神经网络的多维度调度方法及系统
CN113485801A (zh) * 2021-06-25 2021-10-08 中国科学技术大学苏州高等研究院 基于神经网络相似度建模的实时dnn调度系统及方法
CN116450657B (zh) * 2023-06-19 2023-08-29 北京好心情互联网医院有限公司 数据分片调度方法、装置、设备及存储介质
CN116450657A (zh) * 2023-06-19 2023-07-18 北京好心情互联网医院有限公司 数据分片调度方法、装置、设备及存储介质
CN116991781A (zh) * 2023-09-25 2023-11-03 京东科技信息技术有限公司 一种请求处理装置、方法、芯片、存储介质及电子设备
CN116991781B (zh) * 2023-09-25 2024-02-06 京东科技信息技术有限公司 一种请求处理装置、方法、芯片、存储介质及电子设备

Also Published As

Publication number Publication date
CN107888669B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN107888669A (zh) 一种基于深度学习神经网络的大规模资源调度系统及方法
Hung et al. Wide-area analytics with multiple resources
CN104636197B (zh) 一种数据中心虚拟机迁移调度策略的评价方法
CN108874538B (zh) 用于调度量子计算机的调度服务器、调度方法及应用方法
CN103676881B (zh) 一种半导体生产线动态瓶颈分析方法
Cheng et al. Minimizing total earliness and tardiness through unrelated parallel machine scheduling using distributed release time control
CN106951330A (zh) 一种云服务中心服务效用最大化的虚拟机分配方法
CN102724103B (zh) 代理服务器、分层次网络系统及分布式工作负载管理方法
US9239734B2 (en) Scheduling method and system, computing grid, and corresponding computer-program product
CN104065745A (zh) 云计算动态资源调度系统和方法
CN108268319A (zh) 任务调度方法、装置及系统
CN107403296A (zh) 运力配置方法及装置
CN104104551B (zh) 云资源需求评估方法及装置
CN108270805A (zh) 用于数据处理的资源分配方法及装置
CN113485801B (zh) 基于神经网络相似度建模的实时dnn调度系统及方法
CN109947532A (zh) 一种教育云平台中的大数据任务调度方法
Cao et al. A parallel computing framework for large-scale air traffic flow optimization
CN109343945A (zh) 一种基于合同网算法的多任务动态分配方法
US7650267B1 (en) Distribution of DES replications in a simulation
CN105740059A (zh) 一种面向可分割任务的粒子群调度方法
CN108132840A (zh) 一种分布式系统中的资源调度方法及装置
CN105426247B (zh) 一种hla联邦成员规划调度方法
Shen An uncertain parallel machine problem with deterioration and learning effect
Mishra et al. State-of-the-art and research challenges in task scheduling and resource allocation methods for cloud-fog environment
KR20120133362A (ko) 로딩 시뮬레이션 기반 동적 피드백 스케줄링 알고리즘을 장착한 최적화된 생산 스케줄링 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant