CN111026519B - 基于分布式的任务优先级调度方法和系统及存储介质 - Google Patents

基于分布式的任务优先级调度方法和系统及存储介质 Download PDF

Info

Publication number
CN111026519B
CN111026519B CN201811179780.5A CN201811179780A CN111026519B CN 111026519 B CN111026519 B CN 111026519B CN 201811179780 A CN201811179780 A CN 201811179780A CN 111026519 B CN111026519 B CN 111026519B
Authority
CN
China
Prior art keywords
task
priority
scheduling
tasks
instant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811179780.5A
Other languages
English (en)
Other versions
CN111026519A (zh
Inventor
叶天琦
芮烨
陈曦
沈春锋
支文瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Baosight Software Co Ltd
Original Assignee
Shanghai Baosight Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Baosight Software Co Ltd filed Critical Shanghai Baosight Software Co Ltd
Priority to CN201811179780.5A priority Critical patent/CN111026519B/zh
Publication of CN111026519A publication Critical patent/CN111026519A/zh
Application granted granted Critical
Publication of CN111026519B publication Critical patent/CN111026519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于分布式的任务优先级调度方法和系统，依据先来先服务规则，通过第一公式，确定任务的初始优先级；通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级；对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。采用动态优先级算法与分布式任务调度框架结合，减少任务的额定等待时间，提高任务优先级的优先级计算时间，提高任务调度的性能和用户体验感。

Description

基于分布式的任务优先级调度方法和系统及存储介质
技术领域
本发明涉及任务调度技术领域，具体地，涉及一种基于分布式的任务优先级调度方法和系统及存储介质。
背景技术
对于规模化的应用来说，调度系统已经是必不可少的组成部分，尤其在基于数据分析的后台应用数据急剧增长的当下，健壮的调度任务管理已经是非常重要的一个环节，因此分析研究调度系统的设计对于日常的开发与运维具有比较重要的意义。
随着企业网站的不断运营发展和每天所面临着的越来越多需要处理的数据，再加上以往所遗留下来的历史数据，很多企业往往难以有一个针对于处理这些数据的高效任务调度的解决方案，需要一种对这些要处理的数据进行分析形成一个可行性高的完美任务调度解决方案，对比研究传统的任务优先级调度算法，主要存在以下几点不足：1)由于作业任务中可能同时包含长作业和短作业，这种情况下常常导致一种任务很久得不到执行而另一种任务处于长期等待状态，最后两者都无法得到一个很好的执行，达不到一个长短作业兼顾的效果。2)优先级任务调度方案普遍没有应用于分布式架构，这样在任务量大的情况下就很难再根据优先级对任务进行调度分配了。在执行调度的任务过程中，受单个节点故障的影响，由于没有应用针对解决此问题的一个框架，往往会导致执行任务的数据丢失。3)大量的任务堆积在一起不能有一个良好的分类分配策略，而且任务的执行消耗时间也会有很大不同，这样无法满足对整个系统架构的资源充分利用。
YARN框架是Hadoop生态系统的一个资源调度框架，在大数据分布式系统的任务调度中起着很重要的作用，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Oozie是用于Hadoop平台的一种工作流调度引擎。该框架使用Oozie协调器促进了相互依赖的重复工作之间的协调，可以使用预定的时间或数据可用性来触发Apache Oozie。可以使用Oozie bundle系统提交或维护一组协调应用程序；两者结合起来在分布式系统应用中对系统运行的效率有着显著的提高。《电子学报》2016,44(5):1017-1024出版的《HadoopYARN资源分配与调度的研究》一文深入分析了Hadoop YARN的资源分配与调度机制,从作业调度和任务调度两个层次考虑,分别研究了Hadoop资源调度机制与推测执行机制,针对其中存在的资源分配不合理和预测任务完成时间不准确的问题,提出了解决办法。但是文中并未设计到具体的任务优先级调度。
专利文献CN105069250A公开了一种基于调度粒度的任务优先级计算方法，能够降低调度频率，减少调度消耗时间。包括：(1)确定任务优先级；(2)设定调度粒度；(3)任务优先级计算细化。在任务调度优先级计算时分析了调度粒度对任务调度的影响，并结合任务等待时间和任务间通信开销等因素，确定任务优先级，从而能够有效的降低调度频率，减少任务调度过程中的消耗。但是上述专利文献在调度效率上存在一定缺陷。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于分布式的任务优先级调度方法和系统及存储介质。
根据本发明提供的一种基于分布式的任务优先级调度方法，包括：确定任务初始优先级步骤：依据先来先服务规则，通过第一公式，确定任务的初始优先级；确定任务类型步骤：通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；动态计算优先级步骤：对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级。
优选地，所述基于分布式的任务优先级调度方法，还包括任务调度步骤：对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。
优选地，所述第一公式是
式中，下标i＝1,2，…n表示任务的序号，n表示总任务数；
Wi表示第i个任务的初始优先级权重；
C表示当前时间，Ci表示第i个任务的到达时间。
优选地，所述第二公式是
eDate1＝(ct/p)+t*ad+d
式中，eDate1表示第一综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0≤ad≤10.0；
d表示任务在任务周期内的截止期限。
优选地，所述第三公式是
eDate2＝(ct/p)-t*ad+d
式中，eDate2表示第二综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0<＝ad<＝10.0；
d表示任务在任务周期内的截止期限。
根据本发明提供的一种基于分布式的任务优先级调度系统，包括：确定任务初始优先级模块：依据先来先服务规则，通过第一公式，确定任务的初始优先级；确定任务类型模块：通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；动态计算优先级模块：对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级。
优选地，所述基于分布式的任务优先级调度系统还包括任务调度模块：对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、采用动态优先级算法与分布式任务调度框架结合，减少任务的额定等待时间，提高任务优先级的优先级计算时间，提高任务调度的性能和用户体验感。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的计算任务优先级的流程图；
图2为本发明的系统框架图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于分布式的任务优先级调度方法，包括，确定任务初始优先级步骤：依据先来先服务规则，通过第一公式，确定任务的初始优先级；确定任务类型步骤：通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；动态计算优先级步骤：对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级。
具体地，所述基于分布式的任务优先级调度方法还包括任务调度步骤：对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。
具体地，所述第一公式是
式中，下标i＝1,2，…n表示任务序号，n表示总任务数；
Wi表示第i个任务的初始优先级权重；
C表示当前时间，Ci表示第i个任务的到达时间。
具体地，所述第二公式是
eDate1＝(ct/p)+t*ad+d
式中，eDate1表示第一综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0≤ad≤10.0；
d表示任务在任务周期内的截止期限。
具体地，所述第三公式是
eDate2＝(ct/p)-t*ad+d
式中，eDate2表示第二综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0<＝ad<＝10.0；
d表示任务在任务周期内的截止期限。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。
根据本发明提供的一种基于分布式的任务优先级调度系统，包括，确定任务初始优先级模块：依据先来先服务规则，通过第一公式，确定任务的初始优先级；确定任务类型模块：通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；动态计算优先级模块：对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级。
具体地，所述基于分布式的任务优先级调度系统还包括任务调度模块：对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。
本发明提供的基于分布式的任务优先级调度系统，可以通过基于分布式的任务优先级调度方法的步骤流程实现。本领域技术人员可以将基于分布式的任务优先级调度方法理解为所述基于分布式的任务优先级调度系统的优选例。
本发明是一种基于分布式框架实现的一种良好的任务调度解决方案，能够广泛用于分布式系统中的优先级任务调度执行。将动态优先级任务调度算法和分布式任务调度框架结合，减少任务的额定等待时间，提高了任务优先级的优先级计算时间，并具备有效利用分布式框架特性的优点，构建一个基于分布式框架的优先级任务调度方案，减少作业的等待时间，充分利用系统资源，提高系统的性能和用户的体验，有效设置分布式的优先级任务调度。首先按照先来先服务原则，给予任务一个初步的优先级，后续再根据任务在系统中的情况会做进一步的优先级排列，这样做与其他的一些静态优先级算法不同的是，静态算法大多是在为任务创建线程时就已经确立好优先级，这个问题常常导致由于某种策略一种任务在不停地执行而另一种任务等待很久也得不到执行，比如长短作业不能兼顾，而且静态优先级算法也无法适用于实时性能要求比较高的系统，本发明的优先级任务调度算法恰好可以解决这种问题的出现。利用这些信息通过算法得出的任务的优先级，通过定义好的两种任务类型，将即时任务分配给YARN集群执行，将非即时任务分配给Oozie集群执行，这样做目的在于能够利用有效资源，实现不同任务都能够多而有序地被调度起来；在YARN集群执行即时任务的同时，剩下的资源还可以处理系统中的其他问题，体现了分布式框架具备的容错性、扩展性，能够为分布式系统运行中的任务调度提供可靠的保证，也能够满足数据量和任务量不断增长的资源需求，最终朝着一个好的预期结果的方向发展，有一定意义的价值存在，为企业相仿的问题提供一个良好的方案支持，为数据化产业数据的持续增长提供方案基础。
以下对本发明的优选例进行进一步阐述。
如图2所示，基于分布式系统的优先级调度系统主要由以下模块构成，一种任务优先级动态算法：结合这种根据任务优先级为主的方案考虑，任务的长短不均、等待时间和执行消耗时间也大不一样，所以优先级在整个开始直至被执行结束可能会根据这些信息会不断发生变化，目的也是在于能够使资源利用实现最大化，使每个任务尽可能的在最短时间内执行完毕。本模块可以作为实现任务筛选的一个初始入口，也可以作为优先级任务调度的依据；分布式资源调度框架：基于资源管理的任务调度引擎Yarn，做动态资源配置、根据优先级任务做调度策略管理、对任务做相应的数据跟踪；分布式工作流调度引擎Oozie：工作流调度引擎Oozie主要是对非即时任务做定时调度策略，通过Oozie对这方面内容的支持可以配置在start时间过早的情况下可以补跑任务或者避免补跑任务；利用分布式应用程序协调服务对节点上的自动调度引擎进行容错。
如图1所示，将任务定义为两种类型：一种是即时任务类型，类似于用户在前端页面点击需要立即执行并且要实时看到效果的任务；另一种是非即时任务类型，这种任务不是用户迫切需要的，或者说是系统内部运行需要定期记录数据的任务，比如定期对后台系统模块进行日志打印整理、定期计算系统在一段时间内的访问量等。流程总体包含三个部分，优先级任务调度算法，基于YARN的即时任务调度和基于Oozie的非即时任务的周期性地定时调度。
首先优先级任务调度算法，其特征在于：调度算法包含如下几个具体步骤：a)系统初始化，各个节点基于分布式集群开始加载各自的服务，由于这个时候任务都陆陆续续地抵达，此时都没有等待时间、周转时间、优先级等的数据。所以根据先来先服务的原则，我们尽可能的给予先来的任务一个较高的优先权，这个优先权的计算方法为：
其中C为当前时间，W为任务的优先级的权重比，i为几个逐渐增加的系数，n是任务数,W越大说明权重比越高，初步优先级分配就越高；
b)根据a所述，其特征在于先将任务做一个基本的优先权重分配，然后根据任务的类型再做相应的计算。
对于是即时任务的任务类型，其优先级计算方法为：
eDate＝(ct/p)+t*ad+d…………………公式b1
对于是非即时任务的任务类型，其优先级计算方法为：
eDate＝(ct/p)-t*ad+d…………………公式b2
其中ct为当前时间，p为该任务周期，t是预计执行时间，ad是一个可调的度量系数，1.0<＝ad<＝10.0,d是该任务周期内截止期限，eDate最大的任务综合优先级越高；
c)如公式b所述的动态优先级算法，其特征表现在一个在本周期内没有完成的任务来讲，如果是非即时任务，优先级会自动提高至本周期的最高级别并在下一个任务周期开始时优先执行；如果是即时任务，优先级会提高至本周期的最高级别并回到公式a中重新计算优先级。
分布式任务资源管理调度框架Yarn：考虑到该框架对资源管理、控制以及任务数据支持良好的原因，由Yarn负责对即时任务的调度，并针对每个任务所需要的cpu、内存等资源进行控制。
分布式任务流调度框架Oozie：通过工作流引擎的开源框架Oozie提供的对Hadoop生态系统的任务调度和协调的强大支持，将所有非即时任务交由Oozie，在Oozie中会根据分配过来的任务优先级的高低顺序写入到workflow.xml中，统一由Oozie管理，最后通过事件触发执行。
分布式框架的优先级任务调度方案特点分析：高效率的任务优先级算法：前期根据先来先服务的原则对任务的优先级做一个初步分配，而后随着系统运行时参数的变化任务的优先级也会随之变化，这样节省了任务的等待时间，使最有可能执行的任务优先级最高，提高了算法的效率；可用性强：系统采用分布式架构围绕本方案所涉及的Yarn、Oozie等框架都是具备很好的容错机制，比如Oozie来说，即使是在出现节点或整个集群断电的情况下也能保证任务在后续执行而且数据数据不会丢失；扩展性强：由于本方案采用的分布式架构设计，所以只需要根据情况增加相应的节点即可，过程简单方便，为后期可能出现的系统性能问题和维护带来好处；任务资源上的依赖性得到改善：利用Yarn的资源分配机制，很好的处理了任务资源的互相依赖抢占等问题，使得别的任务不会因为资源被占用而无法执行，对任务执行成功的的几率将会大大提高。
在具体的实施中，本发明对环境部署的前提有以下几点建议：为满足分布式集群环境下性能要求，建议部署至少部署四台机器(命名为A、B、C、D)，服务器的硬件配置中，推荐内存配置不低于64G，CPU推荐最低E2650。另外，在搭建其他分布式框架的基础之上还需要部署以下服务；部署分布式任务定时调度服务，将Oozie同时部署在A、B、C、D四台机器并完成集群的配置；部署分布式任务调度服务，将Yarn同时部署在A、B、C、D四台机器并完成集群的配置。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (5)

1.一种基于分布式的任务优先级调度方法，其特征在于，包括：
确定任务初始优先级步骤：依据先来先服务规则，通过第一公式，确定任务的初始优先级；
确定任务类型步骤：通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；
动态计算优先级步骤：对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级；
所述第一公式是
式中，下标i＝1,2，…n表示任务的序号，n表示总任务数；
Wi表示第i个任务的初始优先级权重；
C表示当前时间，Ci表示第i个任务的到达时间；
所述第二公式是
eDate1＝(ct/p)+t*ad+d
式中，eDate1表示第一综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0≤ad≤10.0；
d表示任务在任务周期内的截止期限；
所述第三公式是
eDate2＝(ct/p)-t*ad+d
式中，eDate2表示第二综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0<＝ad<＝10.0；
d表示任务在任务周期内的截止期限。
2.根据权利要求1所述的基于分布式的任务优先级调度方法，其特征在于，还包括任务调度步骤：对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。
3.一种基于分布式的任务优先级调度系统，其特征在于，包括：
确定任务初始优先级模块：依据先来先服务规则，通过第一公式，确定任务的初始优先级；
确定任务类型模块：通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；
动态计算优先级模块：对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级；
所述第一公式是
式中，下标i＝1,2，…n表示任务的序号，n表示总任务数；
Wi表示第i个任务的初始优先级权重；
C表示当前时间，Ci表示第i个任务的到达时间；
所述第二公式是
eDate1＝(ct/p)+t*ad+d
式中，eDate1表示第一综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0≤ad≤10.0；
d表示任务在任务周期内的截止期限；
所述第三公式是
eDate2＝(ct/p)-t*ad+d
式中，eDate2表示第二综合优先级权重；
ct表示当前时间；
p表示任务周期；
t表示预计执行时间；
ad表示可调节的度量系数，所述度量系数的调节范围是1.0<＝ad<＝10.0；
d表示任务在任务周期内的截止期限。
4.根据权利要求3所述的基于分布式的任务优先级调度系统，其特征在于，还包括任务调度模块：对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。
5.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。
CN201811179780.5A 2018-10-10 2018-10-10 基于分布式的任务优先级调度方法和系统及存储介质 Active CN111026519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811179780.5A CN111026519B (zh) 2018-10-10 2018-10-10 基于分布式的任务优先级调度方法和系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811179780.5A CN111026519B (zh) 2018-10-10 2018-10-10 基于分布式的任务优先级调度方法和系统及存储介质

Publications (2)

Publication Number Publication Date
CN111026519A CN111026519A (zh) 2020-04-17
CN111026519B true CN111026519B (zh) 2023-11-10

Family

ID=70191768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811179780.5A Active CN111026519B (zh) 2018-10-10 2018-10-10 基于分布式的任务优先级调度方法和系统及存储介质

Country Status (1)

Country Link
CN (1) CN111026519B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181640A (zh) * 2020-09-14 2021-01-05 北京幻想纵横网络技术有限公司 一种任务处理方法及装置
CN112486657A (zh) * 2020-12-16 2021-03-12 广东电网有限责任公司惠州供电局 一种任务调度方法及系统
CN112685161B (zh) * 2020-12-31 2024-04-23 杭州当虹科技股份有限公司 一种统一任务调度系统
CN113722067A (zh) * 2021-08-24 2021-11-30 咪咕音乐有限公司 信息任务调度方法、装置、设备及存储介质
CN113986830B (zh) * 2021-11-11 2024-02-23 西安交通大学 一种面向分布式ct的云端数据管理和任务调度方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339521A (zh) * 2008-07-28 2009-01-07 华中科技大学 一种任务优先级动态调度算法
CN101568157A (zh) * 2008-04-25 2009-10-28 中国移动通信集团公司 无线资源调度方法及其装置、基站
CN102946362A (zh) * 2012-09-13 2013-02-27 杭州华三通信技术有限公司 一种套接字资源分配方法及设备
CN103826312A (zh) * 2014-01-20 2014-05-28 浙江工业大学 一种基于指数准则改进的lte调度方法
CN106793133A (zh) * 2017-01-06 2017-05-31 国网江苏省电力公司信息通信分公司 一种电力无线通信系统中保障多业务QoS的调度方法
CN107729136A (zh) * 2016-08-12 2018-02-23 腾讯科技（深圳）有限公司 一种基于fpga的处理优先级配置方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660006B2 (en) * 2011-11-29 2014-02-25 Hughes Network Systems, Llc Method and system for traffic management and resource allocation on a shared access network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101568157A (zh) * 2008-04-25 2009-10-28 中国移动通信集团公司 无线资源调度方法及其装置、基站
CN101339521A (zh) * 2008-07-28 2009-01-07 华中科技大学 一种任务优先级动态调度算法
CN102946362A (zh) * 2012-09-13 2013-02-27 杭州华三通信技术有限公司 一种套接字资源分配方法及设备
CN103826312A (zh) * 2014-01-20 2014-05-28 浙江工业大学 一种基于指数准则改进的lte调度方法
CN107729136A (zh) * 2016-08-12 2018-02-23 腾讯科技（深圳）有限公司 一种基于fpga的处理优先级配置方法及装置
CN106793133A (zh) * 2017-01-06 2017-05-31 国网江苏省电力公司信息通信分公司 一种电力无线通信系统中保障多业务QoS的调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Paolo Bellavista.Priority-Based Resource Scheduling in Distributed Stream Processing Systems for Big Data Applications.《UCC '14: Proceedings of the 2014 IEEE/ACM 7th International Conference on Utility and Cloud Computing》.2014,363-370. *
李宇 ; .用于云存储数据服务器的I/O请求调度算法.西南交通大学学报.2018,(第04期),201-208. *

Also Published As

Publication number Publication date
CN111026519A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111026519B (zh) 基于分布式的任务优先级调度方法和系统及存储介质
Salot A survey of various scheduling algorithm in cloud computing environment
Cheng et al. Adaptive scheduling of parallel jobs in spark streaming
Jung et al. Synchronous parallel processing of big-data analytics services to optimize performance in federated clouds
Chen et al. Adaptive multiple-workflow scheduling with task rearrangement
Xie et al. Mixed real-time scheduling of multiple dags-based applications on heterogeneous multi-core processors
CN108154317B (zh) 多云环境下基于实例自适应分配整合的工作流组调度方法
Guo et al. Delay-optimal scheduling of VMs in a queueing cloud computing system with heterogeneous workloads
CN111861412A (zh) 面向完成时间优化的科学工作流调度方法及系统
CN110928666B (zh) 一种Spark环境中基于内存优化任务并行度的方法和系统
George et al. Job vs. portioned partitioning for the earliest deadline first semi-partitioned scheduling
Moulik et al. COST: A cluster-oriented scheduling technique for heterogeneous multi-cores
Singh et al. A comparative study of various scheduling algorithms in cloud computing
Gharajeh et al. Heuristic-based task-to-thread mapping in multi-core processors
EP4300305A1 (en) Methods and systems for energy-efficient scheduling of periodic tasks on a group of processing devices
Bagga et al. Moldable load scheduling using demand adjustable policies
Kong et al. Guaranteed scheduling for (m, k)-firm deadline-constrained real-time tasks on multiprocessors
CN111522637B (zh) 一种基于成本效益的storm任务调度方法
CN114579284A (zh) 任务调度方法及装置
Zhang et al. Multi-resource partial-ordered task scheduling in cloud computing
CN106325983A (zh) 一种内存占用小、支持并发的微程模型及调度方法
Chawla et al. A load balancing based improved task scheduling algorithm in cloud computing
Zhu et al. High-Throughput Scientific Workflow Scheduling under Deadline Constraint in Clouds.
Patil et al. Review on a comparative study of various task scheduling algorithm in cloud computing environment
Donga et al. An analysis of scheduling algorithms in real-time operating system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant