CN113296907B - 一种基于集群的任务调度处理方法、系统和计算机设备 - Google Patents
一种基于集群的任务调度处理方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN113296907B CN113296907B CN202110473747.9A CN202110473747A CN113296907B CN 113296907 B CN113296907 B CN 113296907B CN 202110473747 A CN202110473747 A CN 202110473747A CN 113296907 B CN113296907 B CN 113296907B
- Authority
- CN
- China
- Prior art keywords
- task
- execution
- time
- data
- task scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 73
- 238000004458 analytical method Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 239000002699 waste material Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000036541 health Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
- G06F9/4825—Interrupt from clock, e.g. time of day
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了一种基于集群的任务调度处理方法、系统和计算机设备。该方法包括：根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中；根据第二时间周期从数据库中调取任务数据进行分析；使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。本发明能够更准确、完整地把每个任务的数据取出，有效避免重复获取任务数据或未及时获取任务数据等的问题；根据第二时间周期从数据库中调取任务数据进行分析，能够确定与各任务最适配的任务调度策略；使用任务调度计算模型进行任务调度参数优化计算，能够得到更优化的集群的任务调度策略。
Description
技术领域
本发明涉及互联网领域，具体而言，涉及一种基于集群的任务调度处理方法、系统和计算机设备。
背景技术
在基于互联网的应用技术中，常常需要在不同的参与方之间进行资源的交换。这里所称的资源是指任何可被利用的物质、信息、金钱、时间等。信息资源包括计算资源和各种类型的数据资源。数据资源包括各个领域中的各种专用数据。
通常，服务可以分解成多个任务，并按照固定的流程执行。上述这一过程可以称为流水线，即组装在一起的可以执行的活动或作业任务，其中，流水线中涉及的任务需要对应部署服务器去执行。例如，采用专有构建服务器或构建集群，执行任务。但是，持续集成的流水线需要源源不断执行任务，流水线中任务量会实时改变，这会导致服务器资源不能有效利用。例如，出现大规模流水线任务时，会出现大量的排队和长时间等待的问题，因此，通常会扩大服务器集群结构。同时，在服务器集群在闲时会导致极大的资源浪费。而且，还存在因任务管控不合理而导致一些任务会挤压服务器集群内其他服务器的运行。
此外，现有技术中，大数据集群任务没有细粒度的分析报告，并且大数据监控停留在集群层面，没有对任务做细粒度的健康、分析。此外，对于业务所提交的任务没有合理性的检查标准，造成任务提交不合理，集群中任务管控不合理、集群资源浪费、整体执行效率低、集群的使用效率低等问题。
因此，有必要提供一种基于集群的任务调度处理方法。
发明内容
为了解决现有集群中任务管控不合理、集群资源浪费、整体执行效率低、集群的使用效率低等技术问题，本发明提供了一种基于集群的任务调度处理方法，包括：根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中；根据第二时间周期从数据库中调取任务数据进行分析；使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。
优选地，所述第一时间周期和第二时间周期的周期时长相同，但时间节点间隔预定时长。
优选地，所述从数据库中调取任务数据进行分析包括：计算任务的资源使用值或资源浪费值。
优选地，所述从数据库中调取任务数据进行分析包括：计算任务所占用的物理内存值。
优选地，所述从数据库中调取任务数据进行分析包括计算任务的数据倾斜度和/或任务的执行时间倾斜度。
优选地，所述使用所述任务调度计算模型进行调整参数的优化计算，以更新任务调度策略包括：根据所计算的任务资源使用值或资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，进一步计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值；根据所计算的各调整值，更新任务调度策略。
优选地，还包括：接收待执行任务的申请请求，使用任务调度计算模型确定与该待执行任务相对应的调度策略，以执行所述待执行任务。
优选地，所述调度策略包括任务的执行开始时间、执行结束时间、执行模块和执行节点。
此外，本发明还提供了一种基于集群的任务调度处理系统，包括：数据获取模块，用于根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中；分析处理模块，根据第二时间周期从数据库中调取任务数据进行分析；更新模块，使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。
优选地，所述第一时间周期和第二时间周期的周期时长相同，但时间节点间隔预定时长。
可选地，还包括第一计算模块，所述计算模块用于计算任务的资源使用值或资源浪费值。
可选地，还包括第二计算模块，该第二计算模块用于计算任务所占用的物理内存值。
优选地，所述从数据库中调取任务数据进行分析包括计算任务的数据倾斜度和/或任务的执行时间倾斜度。
优选地，所述使用所述任务调度计算模型进行调整参数的优化计算，以更新任务调度策略包括：根据所计算的任务资源使用值或资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，进一步计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值；根据所计算的各调整值，更新任务调度策略。
优选地，还包括执行模块，所述执行模块用于接收待执行任务的申请请求，使用任务调度计算模型确定与该待执行任务相对应的调度策略，以执行所述待执行任务。
优选地，所述调度策略包括任务的执行开始时间、执行结束时间、执行模块和执行节点。
此外，还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行如本发明所述的任务调度处理方法。
此外，本发明还提供了一种计算机程序产品，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如本发明所述的任务调度处理方法。
有益效果
与现有技术相比，本发明通过按特定周期从集群获取任务数据，能够更准确、完整地把每个任务的数据取出，有效避免重复获取任务数据或未及时获取任务数据等的问题；根据第二时间周期从数据库中调取任务数据进行分析，能够确定与各任务最适配的任务调度策略；使用任务调度计算模型进行任务调度参数优化计算，能够得到更优化的集群的任务调度策略。
进一步地，通过计算执行任务的资源使用值或资源浪费值，所占用的物理内存值，task任务之间的数据倾斜度以及各任务的执行时间倾斜度等，能够更有效且更精确地确定与各任务相对应的任务执行模块和执行节点，能够确定与各任务最适配的任务调度策略，还能够提升任务执行效率和健康度；通过使用任务调度计算模型进行任务调度参数优化计算，能够更合理地更新集群的任务调度策略，根据更新后的集群的任务调度策略，进行各任务的执行，能够更有效节省集群的资源(内存)使用率，并能够进一步提升任务执行效率和健康度；通过对各任务调整其第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长，能够更有效保证任务执行过程的数据负载均衡，能够进一步优化或更新集群的任务调度策略。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明本发明示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是本发明的实施例1的基于集群的任务调度处理方法的一示例的流程图。
图2是本发明的实施例1的基于集群的任务调度处理方法的另一示例的示意图。
图3是本发明的实施例2的基于集群的任务调度处理系统的一示例的示意图。
图4是本发明的实施例2的基于集群的任务调度处理系统的另一示例的示意图。
图5是本发明的实施例2的基于集群的任务调度处理系统的又一示例的示意图。
图6是根据本发明的一种计算机设备的示例性实施例的结构框图。
图7是根据本发明的计算机程序产品的示例性实施例的结构框图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但这不应受这些定语限制。这些定语乃是用以区分一者与另一者。例如，第一器件亦可称为第二器件而不偏离本发明实质的技术方案。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
鉴于上述问题，本发明提供了一种基于集群的任务调度处理方法，本发明方法通过按特定周期从集群获取任务数据，能够更准确、完整地把每个任务的数据取出，有效避免重复获取任务数据或未及时获取任务数据等的问题；根据第二时间周期从数据库中调取任务数据进行分析，能够确定与各任务最适配的任务调度策略；使用任务调度计算模型进行任务调度参数优化计算，能够得到更优化的集群的任务调度策略。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
实施例1
下面，将参照图1和图2描述本发明的基于集群的任务调度处理方法的实施例。
图1为本发明的基于集群的任务调度处理方法的一示例的流程图。如图1所示，该方法包括如下步骤。
步骤S101，根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中。
步骤S102，根据第二时间周期从数据库中调取任务数据进行分析。
步骤S103，使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。
首先，在步骤S101中，根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中。
在本示例中，获取多集群在特定历史时间段内的历史任务数据，从周期维度对所述历史任务数据进行分析，所述多集群包括MapReduce集群和Spark集群，所述历史任务数据包括各集群中各任务的输入数据量、执行时间(包括开始时间、结束时间)、执行所消耗的资源量(包括资源使用量和资源浪费量)、执行节点以及执行中的问题节点。
可选地，所述集群包括Spark集群、Yarn集群和/或MapReduce集群。
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。在其他示例中，还可以包括Hive集群等。在本发明中，Spark集群是指基于Spark的集群，其中，Spark是一种与Hadoop相似的开源集群计算环境，Spark启用了内存分布数据集，除了能够提供交互式查询外，还可以优化迭代工作负载。Yarn集群是基于Yarn的集群，其中，Yarn是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离，主要是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)，其中，所述应用程序是指MapReduce Job(作业)或Job(作业)的DAG(有向无环图)。
为了精确并完整地获取集群的所有任务数据，本发明根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中。同于一个集群中同时执行的任务有很多，有的执行时间长、有的执行时间短，但是，对于正在执行的任务，任务数据是不断产生的，因此，为了全面地获取所有任务数据，就需要不断地获取，并且不重不漏地获取任务数据。为此，本发明提出进行周期性地获取数据，并且依照任务开始时间对选择性地获取当前周期内的任务数据，即获取任务开始时间在上一周期内的所有历史任务数据。
进一步的，为了数据库的均衡负载，本发明提出按照相同的周期时间对存入数据库的任务数据进行取出并分析。但是，取出分析的时间节点与获取任务数据的时间节点错开，即，根据第二时间周期从数据库中调取任务数据进行分析，并优选为所述第一时间周期和第二时间周期的周期时长相同，但时间节点间隔预定时长。例如第一时间周期和第二时间周期均为1小时，间隔的预定时长例如是20分钟。
在分析任务数据时，具体地，从周期维度、各任务的资源使用量和资源浪费量等角度，确定分析指标，该分析指标包括时间参数，资源使用量(包括资源使用最大值、平均值和最小值)，资源浪费值(包括资源浪费最大值、平均值和最小值)等。
优选地，根据分析指标对所述历史任务数据进行分析，得到与各分析指标相对应的趋势分析图。
具体地，根据所述趋势分析图，得到任务调度计算模型，该任务段度计算模型包括与多个趋势分析图相对的关系计算式。
更具体地，该时间参数包括任务数据获取时间、任务执行开始时间、以及任务执行结束时间等。
需要说明的是，每个任务执行状态都有日志和历史记录，但日志记录是比较乱的。为了后续分析，也为了更有效且更合理地监控和管理各任务数据，如前所述，本发明将任务数据获取和任务数据分析分开，首先，准确、完整地把每个任务的数据取出来，并且是周期性的取出，其中，任务数据获取的周期(即第一时间周期)是根据历史趋势分析图和时间参数所确定的。同时，考虑为了使任务数据不重不漏，按任务执行开始时间划分成多个任务集合，每次都只取开始时间点在上一个周期内的任务数据。取出来先存储例如mysql等数据库中以供后续调用。
例如，第一时间周期为一个小时，任务开始时间为整点，即每个整点执行一次任务数据获取，例如每天下午2点钟执行一次任务数据获取，获取的是“任务开始时间”位于1点至2点(上一周期)之间的任务数据。
具体地，将所获取的任务数据存储到数据库中，例如存储到mysql数据库，以用于后续数据分析或任务执行。换言之，任务数据获取和任务执行是分开进行的。
由此，通过按特定周期从集群获取任务数据，能够更准确、完整地把每个任务的数据取出，有效避免重复获取任务数据或未及时获取任务数据等的问题。
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
接下来，在步骤S102中，根据第二时间周期从数据库中调取任务数据进行分析。
具体地，根据步骤S101所确定的第二时间周期，从数据库中调取任务数据进行分析。
在本示例中，第一时间周期和第二时间周期的周期时长相同，但时间节点间隔预定时长。
例如，第一时间周期和第二时间周期的周期时长都为半小时、一小时、两小时等，但是第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔预定时长(即特定时长)，该预定时长为十分钟、二十分钟、三十分钟等。
进一步地，从数据库中调取任务数据进行分析，以确定任务调度策略，其中，所述调度策略包括任务的执行开始时间、执行结束时间、执行模块和执行节点。
可选地，例如使用数据分析引擎对所调取的任务数据进行分析。
在本示例中，所述从数据库中调取任务数据进行分析包括：计算任务的资源使用值或资源浪费值。
可选地，根据所述任务调度计算模型计算任务的资源使用值或资源浪费值。
例如，计算执行task任务的application的资源使用值used_resources和used_resources_cores：used_resources＝containerMapMem/1024D*map_total_tasks_runtime/1000D/60D/60D+containerReduceMem/1024D*reduce_total_tasks_runtime/1000D/60D/60D。
再例如，计算执行task任务的application的资源浪费值TaskLevelAggregatedMetrics map_metrics＝newTaskLevelAggregatedMetrics(map_taskDatas,containerMapMem)；
TaskLevelAggregatedMetrics reduce_metrics＝newTaskLevelAggregatedMetrics(reduce_taskDatas,containerReduceMem)wasted_resources＝(map_metrics.getResourceWasted()+reduce_metrics.getResourceWasted())/1024D/3600D。
可选地，所述从数据库中调取任务数据进行分析包括：计算任务所占用的物理内存值。
例如，计算执行task任务所占用的物理内存值used_resources_cores＝containerMapCores*map_total_tasks_runtime/1000D/60D/60D+containerReduceCores*reduce_total_tasks_runtime/1000D/60D/60D。
可选地，所述从数据库中调取任务数据进行分析还包括：计算任务的数据倾斜度和/或任务的执行时间倾斜度，能够确定执行节点的执行时长超过特定时长的节点，并采取分散到不同执行节点进行执行的方式，有效避免单个执行节点的执行时间过长，为各任务确定最优的执行节点，还能够确定待查询的执行节点(即问题节点)
具体地，例如对所调取的task任务数据的输入数据量进行统计分析，计算task任务之间的数据倾斜度，以用于为后续任务监控的优化提供建议。
进一步地，例如对task任务的执行时间做统计分析，计算task任务的执行时间倾斜度。
由此，通过计算各任务执行的资源使用值或资源浪费值，所占用的物理内存值，task任务之间的数据倾斜度以及各任务的执行时间倾斜度等，能够更有效且更精确地确定与各任务相对应的任务执行模块和执行节点，能够确定与各任务最适配的任务调度策略，还能够提升任务执行效率和健康度。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
接下来，在步骤S103中，使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。
在本示例中，根据所确定的任务调度策略，执行待执行任务，并获取实际执行所述待执行任务过程中任务的资源使用值或资源浪费值、所占用的物理内存值等相关参数，并将所述相关参数中的至少两个参数作为调整参数，以用于优化或更新任务调度策略。
具体地，所述使用所述任务调度计算模型进行调整参数的优化计算包括：根据步骤S102所计算的任务资源使用值或资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，并且根据实际执行任务所获取的相关参数，进一步计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值。
进一步地，根据所计算的各调整值，更新与各任务相对应的任务调度策略。
具体地，所述更新与各任务相对应的任务调度策略包括：更换执行模块、更换执行节点、重新确定执行时间等等。
由此，通过使用任务调度计算模型进行任务调度参数优化计算，能够更合理地更新集群的任务调度策略，根据更新后的集群的任务调度策略，进行各任务的执行，能够更有效节省集群的资源(内存)使用率，并能够进一步提升任务执行效率和健康度。
图2是本发明的实施例1的基于集群的任务调度处理方法的另一示例的示意图。
如图2所示，所述任务调度处理方法还包括调整第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长的步骤S201(即将步骤S103拆成步骤S103和步骤S201)。
在步骤S201中，调整第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长。
具体地，监测mapreduce集群和spark集群中当前执行的所有任务以及执行任务的所有服务器。
进一步地，确定各服务器的负载均衡值和可分配资源量。
可选地，使用所述任务调度计算模型计算各任务的资源使用量，使用各执行模块(例如服务器)进行任务执行的执行时长。
具体地，根据各任务的资源使用量、使用各执行模块(例如服务器)进行任务执行的执行时长以及所述各执行模块(例如服务器)的负载均衡值和可分配资源量，进一步进行匹配计算，该匹配计算包括各任务的资源使用量与所述可分配资源量之差最小等。由此，确定各任务所对应的执行模块、执行节点、执行时长，得到以加长或缩短第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长。
优选地，所述间隔时长为二十分钟～三十分钟。
可选地，使用所述任务调度计算模型计算任务的数据倾斜度和/或计算任务的执行时间倾斜度，能够确定执行节点的执行时长超过特定时长的节点，并采取分散到不同执行节点进行执行的方式，有效避免单个执行节点的执行时间过长，为各任务确定最优的执行节点，还能够确定待查询的执行节点(即问题节点)。
进一步地，根据更新或优化后的集群的任务调度策略，执行与任务执行请求相对应的待执行任务。
由此，通过对各任务调整其第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长，能够更有效保证任务执行过程的数据负载均衡，能够进一步优化或更新集群的任务调度策略。
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
上述方法的过程仅用于对本发明的说明，其中，步骤的顺序和数量没有特别的限制。此外，上述方法中的步骤还可以拆分成两个、三个，或者有些步骤也可以合并成一个步骤，根据实际示例进行调整。
与现有技术相比，本发明通过按特定周期从集群获取任务数据，能够更准确、完整地把每个任务的数据取出，有效避免重复获取任务数据或未及时获取任务数据等的问题；根据第二时间周期从数据库中调取任务数据进行分析，能够确定与各任务最适配的任务调度策略；使用任务调度计算模型进行任务调度参数优化计算，能够得到更优化的集群的任务调度策略。
进一步地，通过计算执行任务的资源使用值或资源浪费值，所占用的物理内存值，task任务之间的数据倾斜度以及各任务的执行时间倾斜度等，能够更有效且更精确地确定与各任务相对应的任务执行模块和执行节点，能够确定与各任务最适配的任务调度策略，还能够提升任务执行效率和健康度；通过使用任务调度计算模型进行任务调度参数优化计算，能够更合理地更新集群的任务调度策略，根据更新后的集群的任务调度策略，进行各任务的执行，能够更有效节省集群的资源(内存)使用率，并能够进一步提升任务执行效率和健康度；通过对各任务调整其第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长，能够更有效保证任务执行过程的数据负载均衡，能够进一步优化或更新集群的任务调度策略。
实施例2
下面描述本发明的系统实施例，该系统可以用于执行本发明的方法实施例。对于本发明系统实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明系统实施例中未披露的细节，可以参照上述方法实施例来实现。
参照图3、图4和图5，本发明还提供了一种基于集群的任务调度处理系统300，所述任务调度处理系统300包括：数据获取模块301，用于根据第一时间周期从集群中获取任务开始时间在上一周期内的所有历史任务数据，并将任务数据存储到数据库中；分析处理模块302，根据第二时间周期从数据库中调取任务数据进行分析；更新模块303，使用任务调度计算模型进行任务调度参数优化计算，以更新所述集群的任务调度策略。
优选地，所述第一时间周期和第二时间周期的周期时长相同，但时间节点间隔预定时长。
如图4所述，所述任务调度处理系统300还包括第一计算模块401，所述第一计算模块用于计算任务的资源使用值或资源浪费值。
进一步地，所述任务调度处理系统300还包括第二计算模块402，该第二计算模块402用于计算任务所占用的物理内存值。
需要说明的是，在图4的示例中，将图3中的分析处理模块302拆分成分析处理模块302、第一计算模块401和第二计算模块402。
优选地，所述从数据库中调取任务数据进行分析包括计算任务的数据倾斜度和/或任务的执行时间倾斜度。
优选地，所述使用所述任务调度计算模型进行调整参数的优化计算，以更新任务调度策略包括：根据所计算的任务资源使用值或资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，进一步计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值；根据所计算的各调整值，更新任务调度策略。
如图5所示，所述任务调度处理系统300还包括执行模块501，所述执行模块501用于接收待执行任务的申请请求，使用任务调度计算模型确定与该待执行任务相对应的调度策略，以执行所述待执行任务。
可选地，使用更新后或优化后的集群的任务调度策略，执行与任务执行请求相对应的待执行任务。
优选地，所述调度策略包括任务的执行开始时间、执行结束时间、执行模块和执行节点。
需要说明的是，在实施例2中，省略了与实施例1相同的部分的说明。
本领域技术人员可以理解，上述系统实施例中的各模块可以按照描述分布于系统中，也可以进行相应变化，分布于不同于上述实施例的一个或多个系统中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
与现有技术相比，本发明通过按特定周期从集群获取任务数据，能够更准确、完整地把每个任务的数据取出，有效避免重复获取任务数据或未及时获取任务数据等的问题；根据第二时间周期从数据库中调取任务数据进行分析，能够确定与各任务最适配的任务调度策略；使用任务调度计算模型进行任务调度参数优化计算，能够得到更优化的集群的任务调度策略。
进一步地，通过计算执行任务的资源使用值或资源浪费值，所占用的物理内存值，task任务之间的数据倾斜度以及各任务的执行时间倾斜度等，能够更有效且更精确地确定与各任务相对应的任务执行模块和执行节点，能够确定与各任务最适配的任务调度策略，还能够提升任务执行效率和健康度；通过使用任务调度计算模型进行任务调度参数优化计算，能够更合理地更新集群的任务调度策略，根据更新后的集群的任务调度策略，进行各任务的执行，能够更有效节省集群的资源(内存)使用率，并能够进一步提升任务执行效率和健康度；通过对各任务调整其第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长，能够更有效保证任务执行过程的数据负载均衡，能够进一步优化或更新集群的任务调度策略。
实施例3
下面描述本发明的计算机设备实施例，该计算机设备可以视为对于上述本发明的方法和系统实施例的具体实体实施方式。对于本发明计算机设备实施例中描述的细节，应视为对于上述方法或系统实施例的补充；对于在本发明计算机设备实施例中未披露的细节，可以参照上述方法或系统实施例来实现。
图6是根据本发明的一种计算机设备的示例性实施例的结构框图。下面参照图6来描述根据本发明该实施例的的计算机设备200。图6显示的计算机设备200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备200以通用计算设备的形式表现。计算机设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同装置组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元210执行，使得所述处理单元210执行本说明书上述计算机设备的处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元210可以执行如图1所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
计算机设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算机设备200交互的设备通信，和/或与使得该计算机设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，计算机设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与计算机设备200的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机程序产品能够实现本发明的上述方法。
如图7所示，所述计算机程序可以存储于一个或多个计算机程序产品上。计算机程序产品例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机程序产品的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机程序产品可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机程序产品上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者计算机设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种基于集群的任务调度处理方法，其特征在于，包括：
根据第一时间周期从多集群中周期性获取任务开始时间在上一周期内的所有历史任务数据，将历史任务数据存储到数据库中；每个整点执行一次历史任务数据获取，所述历史任务数据包括各集群中各任务的输入数据量、执行时间、执行所消耗的资源量、执行节点以及执行中的问题节点；
根据第二时间周期从数据库中调取历史任务数据并根据分析指标进行分析，包括：
计算任务的资源使用量和资源浪费值，计算任务所占用的物理内存值，得到与各分析指标相对应的趋势分析图；
其中，根据分析指标进行分析包括：计算任务的各任务之间的数据倾斜度和各任务的执行时间倾斜度以确定执行节点的执行时长超过特定时长的节点，并采取分散到不同执行节点进行执行的方式确定与各任务相对应的最优的执行节点并确定问题节点；
其中，将任务数据存储到数据库中和从数据库中调取任务数据的时间节点错开以为数据库均衡负载；根据所述趋势分析图得到任务调度计算模型，所述任务调度计算模型包括与多个趋势分析图相对应的关系计算式，使用该任务调度计算模型进行任务调度参数优化计算，调整第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长，以更新所述集群的任务调度策略。
2.根据权利要求1所述的方法，其特征在于，将任务数据存储到数据库中和从数据库中调取任务数据的时间节点错开，包括：所述第一时间周期和第二时间周期的周期时长相同，但时间节点需要间隔预定时长。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所计算的任务资源使用量、资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值；
根据所计算的各调整值，更新与各任务相对应的任务调度策略。
4.根据权利要求1所述的方法，其特征在于，还包括：
接收待执行任务的申请请求，使用任务调度计算模型确定与该待执行任务相对应的调度策略，以执行所述待执行任务。
5.根据权利要求1所述的方法，其特征在于，所述任务调度策略包括任务的执行开始时间、执行结束时间、执行模块和执行节点。
6.一种基于集群的任务调度处理系统，其特征在于，包括：
数据获取模块，用于根据第一时间周期从多集群中周期性获取任务开始时间在上一周期内的所有历史任务数据，并将历史任务数据存储到数据库中；每个整点执行一次历史任务数据获取，所述历史任务数据包括各集群中各任务的输入数据量、执行时间、执行所消耗的资源量、执行节点以及执行中的问题节点；
分析处理模块，根据第二时间周期从数据库中调取所述历史任务数据并根据分析指标进行分析，其包括：
第一计算模块用于计算任务的资源使用量和资源浪费值，第二计算模块用于计算任务所占用的物理内存值，得到与各分析指标相对应的趋势分析图；
其中，所述根据分析指标进行分析包括：计算任务的各任务之间的数据倾斜度和各任务的执行时间倾斜度以确定执行节点的执行时长超过特定时长的节点，并采取分散到不同执行节点进行执行的方式确定与各任务相对应的最优的执行节点并确定问题节点；
其中，将任务数据存储到数据库中和从数据库中调取任务数据的时间节点错开以为数据库均衡负载；
更新模块，根据所述趋势分析图得到任务调度计算模型，根据所述趋势分析图，得到任务调度计算模型，该任务调度计算模型包括与多个趋势分析图相对应的关系计算式，使用该任务调度计算模型进行任务调度参数优化计算，调整第一时间周期对应的时间节点与第二时间周期对应的时间节点之间的间隔时长，以更新所述集群的任务调度策略。
7.根据权利要求6所述的系统，其特征在于，所述第一时间周期和第二时间周期的周期时长相同，但时间节点需要间隔预定时长。
8.根据权利要求6所述的系统，其特征在于，更新模块还包括：
根据所计算的任务资源使用值或资源浪费值、数据倾斜度、执行时间倾斜度和所占用的物理内存值，进一步计算与任务资源使用、数据倾斜、所占用的物理内存相对应的调整值；
根据所计算的各调整值，更新任务调度策略。
9.根据权利要求6所述的系统，其特征在于，还包括执行模块，所述执行模块用于接收待执行任务的申请请求，使用任务调度计算模型确定与该待执行任务相对应的调度策略，以执行所述待执行任务。
10.根据权利要求6所述的系统，其特征在于，所述任务调度策略包括任务的执行开始时间、执行结束时间、执行模块和执行节点。
11.一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，其特征在于：
当所述计算机可执行程序被所述处理器执行时，所述处理器执行如权利要求1-5中任一项所述的任务调度处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110473747.9A CN113296907B (zh) | 2021-04-29 | 2021-04-29 | 一种基于集群的任务调度处理方法、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110473747.9A CN113296907B (zh) | 2021-04-29 | 2021-04-29 | 一种基于集群的任务调度处理方法、系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113296907A CN113296907A (zh) | 2021-08-24 |
| CN113296907B true CN113296907B (zh) | 2023-12-22 |
Family
ID=77320490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110473747.9A Active CN113296907B (zh) | 2021-04-29 | 2021-04-29 | 一种基于集群的任务调度处理方法、系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113296907B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113742045A (zh) * | 2021-09-15 | 2021-12-03 | 上海淇玥信息技术有限公司 | 一种分布式任务处理方法、装置和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491255A (zh) * | 2018-02-08 | 2018-09-04 | 昆仑智汇数据科技(北京)有限公司 | 自助式MapReduce数据优化分配方法及系统 |
| CN109992404A (zh) * | 2017-12-31 | 2019-07-09 | 中国移动通信集团湖北有限公司 | 集群计算资源调度方法、装置、设备及介质 |
| CN111625331A (zh) * | 2020-05-20 | 2020-09-04 | 拉扎斯网络科技（上海）有限公司 | 任务调度方法、装置、平台、服务器及存储介质 |
| CN111966484A (zh) * | 2020-06-23 | 2020-11-20 | 北京大学 | 一种基于深度强化学习的集群资源管理和任务调度方法及系统 |
| CN112291335A (zh) * | 2020-10-27 | 2021-01-29 | 上海交通大学 | 移动边缘计算中的优化任务调度方法 |
| CN112363913A (zh) * | 2020-10-22 | 2021-02-12 | 北京电子工程总体研究所 | 一种并行测试任务调度寻优的方法、装置和计算设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11036552B2 (en) * | 2016-10-25 | 2021-06-15 | International Business Machines Corporation | Cognitive scheduler |
-
2021
- 2021-04-29 CN CN202110473747.9A patent/CN113296907B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992404A (zh) * | 2017-12-31 | 2019-07-09 | 中国移动通信集团湖北有限公司 | 集群计算资源调度方法、装置、设备及介质 |
| CN108491255A (zh) * | 2018-02-08 | 2018-09-04 | 昆仑智汇数据科技(北京)有限公司 | 自助式MapReduce数据优化分配方法及系统 |
| CN111625331A (zh) * | 2020-05-20 | 2020-09-04 | 拉扎斯网络科技（上海）有限公司 | 任务调度方法、装置、平台、服务器及存储介质 |
| CN111966484A (zh) * | 2020-06-23 | 2020-11-20 | 北京大学 | 一种基于深度强化学习的集群资源管理和任务调度方法及系统 |
| CN112363913A (zh) * | 2020-10-22 | 2021-02-12 | 北京电子工程总体研究所 | 一种并行测试任务调度寻优的方法、装置和计算设备 |
| CN112291335A (zh) * | 2020-10-27 | 2021-01-29 | 上海交通大学 | 移动边缘计算中的优化任务调度方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113296907A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yadwadkar et al. | Selecting the best vm across multiple public clouds: A data-driven performance modeling approach | |
| US10587681B2 (en) | Deployment of multi-task analytics applications in multi-clouds | |
| Jayalath et al. | From the cloud to the atmosphere: Running MapReduce across data centers | |
| Liu et al. | Multi-objective scheduling of scientific workflows in multisite clouds | |
| Wu et al. | An optimal offloading partitioning algorithm in mobile cloud computing | |
| Ishii et al. | Elastic stream computing with clouds | |
| CN109614227B (zh) | 任务资源调配方法、装置、电子设备及计算机可读介质 | |
| Xu et al. | Adaptive task scheduling strategy based on dynamic workload adjustment for heterogeneous Hadoop clusters | |
| US9154366B1 (en) | Server maintenance modeling in cloud computing | |
| US20120054770A1 (en) | High throughput computing in a hybrid computing environment | |
| US10191779B2 (en) | Application execution controller and application execution method | |
| US10411977B2 (en) | Visualization of workload distribution on server resources | |
| Xu et al. | A heuristic virtual machine scheduling method for load balancing in fog-cloud computing | |
| CN115373835A (zh) | Flink集群的任务资源调整方法、装置及电子设备 | |
| Rogers et al. | Bundle and pool architecture for multi-language, robust, scalable workflow executions | |
| CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
| CN109840141A (zh) | 基于云监控的线程控制方法、装置、电子设备及存储介质 | |
| Bedini et al. | Modeling performance of a parallel streaming engine: bridging theory and costs | |
| CN113296907B (zh) | 一种基于集群的任务调度处理方法、系统和计算机设备 | |
| Emeakaroha et al. | Optimizing bioinformatics workflows for data analysis using cloud management techniques | |
| US9384051B1 (en) | Adaptive policy generating method and system for performance optimization | |
| CN112817687A (zh) | 一种数据同步方法和装置 | |
| US9052952B1 (en) | Adaptive backup model for optimizing backup performance | |
| KR101694307B1 (ko) | 디스크 캐쉬 효과를 극대화하는 워크플로우 작업 스케줄링 장치 및 방법 | |
| CN111736968A (zh) | 配电系统云数据中心计算资源优化配置方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |