CN111949494B - 一种任务调控方法、装置及相关设备 - Google Patents
一种任务调控方法、装置及相关设备 Download PDFInfo
- Publication number
- CN111949494B CN111949494B CN202010975232.4A CN202010975232A CN111949494B CN 111949494 B CN111949494 B CN 111949494B CN 202010975232 A CN202010975232 A CN 202010975232A CN 111949494 B CN111949494 B CN 111949494B
- Authority
- CN
- China
- Prior art keywords
- node
- task
- monitoring information
- monitoring
- newly added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012544 monitoring process Methods 0.000 claims abstract description 138
- 239000012634 fragment Substances 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 11
- 238000005192 partition Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 239000002699 waste material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种任务调控方法，包括对集群节点进行实时监控，获得各节点的监控信息；根据所述监控信息判断所述节点是否为新增节点；若是，则获取所述新增节点对应的标准阈值信息；根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控；该任务调控方法可以有效实现集群系统中的任务调控，保证负载均衡，进一步提高集群运行效率以及集群性能。本申请还公开了一种任务调控装置、系统以及计算机可读存储介质，均具有上述有益效果。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种任务调控方法，还涉及一种任务调控装置、系统以及计算机可读存储介质。
背景技术
ES(Elasticsearch)是一种分布式全文数据库系统服务，对于其数据平衡和索引读写机制，当有新的ES服务节点加入集群时，由于该节点的服务和数据存储均为空闲状态，会导致触发ES的Rebalance分片再平衡机制，以将集群中已经存在的索引数据根据节点负载情况均衡转移至新增的节点服务。然而，如果此时集群同样存在大量的索引创建写入任务，由于新加入节点的空闲状态会导致新的索引创建和写入任务也会大量出现在该节点，不仅会导致新加入节点短时间内负载过大，也可能会因为吸引了过多的全新索引创建写入任务，导致其它正常节点的任务空闲，从而引起整个集群性能出现短时降低的情况，严重影响集群运行效率以及集群自身性能。
因此，如何有效实现集群中的任务调控，提高集群运行效率，保证集群性能是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种任务调控方法，该任务调控方法可以有效实现集群系统中的任务调控，保证负载均衡，进一步提高集群运行效率以及集群性能；本申请的另一目的是提供一种任务调控装置、系统以及计算机可读存储介质，也具有上述有益效果。
第一方面，本申请提供了一种任务调控方法，包括：
对集群节点进行实时监控，获得各节点的监控信息；
根据所述监控信息判断所述节点是否为新增节点；
若是，则获取所述新增节点对应的标准阈值信息；
根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控。
优选的，所述对集群节点进行监控，获得各节点的监控信息，包括：
对所述节点对应的机器运行过程进行监控，获得外部资源数据；
对所述节点中的任务执行过程进行监控，获得内部运行数据；
对所述外部资源数据和所述内部运行数据进行封装，获得所述监控信息。
优选的，所述根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控，包括：
关闭主分片写入操作；
根据所述标准阈值信息和所述监控信息对副分片写入操作的操作数量进行控制。
优选的，所述根据所述标准阈值信息和所述监控信息对副分片写入操作的操作数量进行控制，包括：
当所述监控信息未超出所述标准阈值信息时，开启所述副分片写入操作；
当所述监控信息超出所述标准阈值信息时，关闭所述副分片写入操作。
优选的，所述任务调控方法还包括：
将所述监控信息实时存储至预设存储空间。
优选的，所述任务调控方法还包括：
根据所述预设存储空间的历史监控信息统计监控信息变化趋势；
判断所述监控信息变化趋势是否趋于稳定，若是，则开启所述主分片写入操作。
优选的，所述任务调控方法还包括：
将各所述监控信息发送至显示设备进行可视化展示。
第二方面，本申请还公开了一种任务调控装置，包括：
节点监控模块，用于对集群节点进行实时监控，获得各节点的监控信息；
节点判断模块，用于根据所述监控信息判断所述节点是否为新增节点；
阈值获取模块，用于若所述节点为所述新增节点，则获取所述新增节点对应的标准阈值信息；
任务调控模块，用于根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控。
第三方面，本申请还公开了一种任务调控系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上所述的任一种任务调控方法的步骤。
第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种任务调控方法的步骤。
本申请所提供的一种任务调控方法，包括对集群节点进行实时监控，获得各节点的监控信息；根据所述监控信息判断所述节点是否为新增节点；若是，则获取所述新增节点对应的标准阈值信息；根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控。
可见，本申请所提供的任务调控方法，针对集群服务进行节点服务横向扩容的场景，对其新增节点的上线过程进行优化，以有效避免由于新增节点上线后同时触发Rebalance机制和全新索引创建写入过程，短时间内承接过多写入任务，进而导致新增节点负载过大而其它节点短时间内任务空闲、资源浪费的问题，通过对新增节点进行实时监控，并结合可自定义的标准阈值配置，便于合理的对节点任务进行介入，进而在适当的场景下完成节点负载的合理调节，避免新增节点的任务负载不合理导致的单节点负载过重、个别节点资源浪费的情况，有效地提升了集群运行效率以及集群性能。
本申请所提供的一种任务调控装置、系统以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种任务调控方法的流程示意图；
图2为本申请所提供的另一种任务调控方法的流程示意图；
图3为本申请所提供的一种任务调控装置的结构示意图；
图4为本申请所提供的一种任务调控系统的结构示意图。
具体实施方式
本申请的核心是提供一种任务调控方法，该任务调控方法可以有效实现集群系统中的任务调控，保证负载均衡，进一步提高集群运行效率以及集群性能；本申请的另一核心是提供一种任务调控装置、系统以及计算机可读存储介质，也具有上述有益效果。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种任务调控方法的流程示意图，该任务调控方法可包括：
S101：对集群节点进行实时监控，获得各节点的监控信息；
本步骤旨在实现集群系统中各节点监控信息的获取，通过监控线程对集群系统中的各个节点进行实时监控获得。可以理解的是，为有效保证集群中各个节点的负载均衡，本申请采用实时监控的方式实现监控信息的获取。其中，监控信息是指集群中各个节点运行过程中对应的所有相关信息，其具体内容并不唯一，可以由技术人员根据实际需求进行设定，本申请对此不做限定，例如，可以包括节点中任务的执行信息如执行进程、执行结果等，其在运行过程中所占用的资源信息如内存、磁盘占用等。此外，还需要说明的是，上述节点监控是指对集群系统中的所有节点进行监控，以有效保证节点负载均衡，所获得的监控信息则是集群中所有节点对应的监控信息。
作为一种优选实施例，上述对集群节点进行监控，获得各节点的监控信息，可以包括：对节点对应的机器运行过程进行监控，获得外部资源数据；对节点中的任务执行过程进行监控，获得内部运行数据；对外部资源数据和内部运行数据进行封装，获得监控信息。
本优选实施例提供了一种较为具体的节点监控信息，包括节点内执行任务过程中对应的内部资源数据以及节点所处机器运行过程中对应的外部资源数据，其中，内部资源数据具体可以包括任务执行情况、任务执行状态、任务执行进程、任务执行结果等信息，外部资源数据具体可以包括RAM内存使用、disk磁盘信息、CPU使用情况等信息；进一步，对获得的外部资源数据和内部运行数据进行统一的对象封装，即可获得上述监控信息。
作为一种优选实施例，该任务调控方法还可以包括：将各监控信息发送至显示设备进行可视化展示。
本优选实施例实现了节点监控信息的可视化展示功能，将监控获得的各个监控信息发送至前端显示设备进行可视化展示即可，由于监控信息是实时获取的，因此，监控信息也可以是实时显示，更加方便技术人员清楚直观的了解当前集群系统内各个节点的负载情况，并在出现异常时及时进行系统维护处理。
S102：根据监控信息判断节点是否为新增节点；若是，则执行S103；
本步骤旨在实现节点判断，以确定当前节点是否为新增节点，该新增节点即为集群系统内新加入的节点，具体可根据监控信息判断当前节点是否为新增节点。具体而言，如若当前节点为新增节点，那么该节点的当前任务服务和数据存储必然为空闲状态，因此，在获得某个节点的监控信息后，即可通过信息解析判断该节点的当前任务服务和数据存储是否为空闲状态，若是，则说明该节点为新增节点，反之则说明该节点是已经存在于集群系统的集群节点。
S103：获取新增节点对应的标准阈值信息；
本步骤旨在实现新增节点对应的标准阈值信息的获取，用以实现任务调控。其中，标准阈值信息是指集群节点中各个参数的标准阈值，如可执行任务数、磁盘使用阈值、内存使用阈值、CPU消耗比例值等，各个参数的具体取值由技术人员自定义设置，并不唯一。可以理解的是，集群中各个节点的标准阈值信息可相同也可不同，均可由技术人员根据实际需求进行设置，并不影响本技术方案的实施。在此基础上，为实现新增节点中的任务调控保证负载均衡，可获取该新增节点对应的标准阈值信息，以便结合其对应的监控信息实现进行任务调控。
S104：根据标准阈值信息和监控信息对新增节点进行任务调控。
本步骤旨在实现新增节点中的任务调控，保证集群节点中的负载均衡。具体而言，在获得新增节点的标准阈值信息以及监控信息后，即可结合二者对新增节点中的任务进行调控，其中，任务调控的具体内容包括但不限于控制新增节点中某些任务的开启或关闭，控制新增节点中当前可同时处理的任务数量等。可以理解的是，上述监控信息是指当前时间节点的监控信息，监控信息具有实时性，任务调度同样具有实时性。
作为一种优选实施例，上述根据标准阈值信息和监控信息对新增节点进行任务调控，可以包括：关闭主分片写入操作；根据标准阈值信息和监控信息对副分片写入操作的操作数量进行控制。
本优选实施例提供了一种较为具体的任务调度方法，在任务调度过程中，直接将主分片写入操作关闭，只对副分片写入操作进行控制。其中，主分片写入操作是指新的索引创建任务，即系统外部数据的写入操作，其执行过程将会占用较大的计算机资源，因此，可直接将新增节点中的主分片写入操作关闭，避免新数据写入；副分片写入操作是指其他节点索引的写入任务，即系统内部数据的复制操作，其执行过程占用计算机资源相对较小，因此，可以只开启新增节点中的副分片写入操作，并对其操作数量进行合理控制，保证负载均衡即可。
作为一种优选实施例，上述根据标准阈值信息和监控信息对副分片写入操作的操作数量进行控制，可以包括：当监控信息未超出标准阈值信息时，开启副分片写入操作；当监控信息超出标准阈值信息时，关闭副分片写入操作。
本优选实施例提供了一种较为具体的副分片写入操作的控制方法，具体而言，可将实时监控信息与标准阈值信息进行比对，如果实时监控信息未超出标准阈值信息，则可以直接开启副分片写入操作，在写入过程中同样进行监控信息的实时获取，直至当监控信息超出标准阈值信息时，关闭副分片写入操作。
作为一种优选实施例，该任务调控方法还可以包括：将监控信息实时存储至预设存储空间。
本优选实施例实现了节点监控信息的存储功能，即将实时监控信息存储至预先建立的存储空间，即上述预设存储空间，以便后续查询和溯源，以及方便技术人员可以清楚的知晓各个参数指标的变化情况。
作为一种优选实施例，该任务调控方法还可以包括：根据预设存储空间的历史监控信息统计监控信息变化趋势；判断监控信息变化趋势是否趋于稳定，若是，则开启主分片写入操作。
具体而言，还可以根据预设空间中所存储的各个参数指标的历史监控信息进行统计分析，以获取相应的变化趋势，当其变化趋势趋于稳定时，说明当前集群内的节点负载已达到均衡，此时开启主分片写入操作；与此同时，还可以将新增节点中的各项限制操作解除，完成任务释放的同时达到负载均衡，完成任务调度。
可见，本申请所提供的任务调控方法，针对集群服务进行节点服务横向扩容的场景，对其新增节点的上线过程进行优化，以有效避免由于新增节点上线后同时触发Rebalance机制和全新索引创建写入过程，短时间内承接过多写入任务，进而导致新增节点负载过大而其它节点短时间内任务空闲、资源浪费的问题，通过对新增节点进行实时监控，并结合可自定义的标准阈值配置，便于合理的对节点任务进行介入，进而在适当的场景下完成节点负载的合理调节，避免新增节点的任务负载不合理导致的单节点负载过重、个别节点资源浪费的情况，有效地提升了集群运行效率以及集群性能。
在上述各实施例的基础上，本优选实施例提供了一种更为具体的任务调控方法，其具体实现流程如下：
请参考图2，图2为本申请所提供的另一种任务调控方法的流程示意图，该任务调控方法的实现流程主要包括节点监控功能模块、参数定义功能模块、负载调节功能模块以及任务释放功能模块，更为具体的：
1、节点监控功能模块主要用于监控节点状态、节点资源使用情况、任务执行情况等各项指标，并将监控收集到的信息进行汇总封装，完成后向下传递：
(1)通过识别节点服务状态判断是否为新增节点服务，当确定其为新增无任务、无shard存储的全新服务后，继续执行后续步骤；
(2)对新增节点服务进行节点所在机器资源的统计收集，包括但不限于节点的ram内存使用、disk磁盘信息、CPU的使用情况等；
(3)对新增节点服务进行节点task(执行任务)监控，持续统计记录该新增节点的task执行情况；
(4)将上述所收集到的一系列信息进行对象封装，并向下传递，提供给负载调节功能模块使用。
2、参数定义功能模块用于定义部分节点任务指标，如内存、磁盘、CPU等利用率阈值，任务数限制等，为负载调节功能模块提供参考，通过开发者自主控制，优化节点负载任务调节过程：
(1)ram使用定义，对新增节点的内存资源进行设置，设置percent ram指标为80％，在ram使用超过80％时，需要停止新增task在新增节点的创建操作，对Rebalance过程进行控制；
(2)磁盘和CPU的使用定义，与ram的设定类同，达到相应设置阈值后传递指令；
(3)task任务数定义，具体为指定超过数量的任务数，如果新增节点运行的任务数超过设定阈值，则传递指令至负载调节功能模块以停止新增任务的加入。
3、负载调节功能模块用于接收节点监控功能模块收集到的封装信息和参数定义功能模块的各项定义指标，对新增节点服务进行任务调控，包括但不限于控制Rebalance任务的执行均衡、控制任务task的新增、对节点关闭新增索引的primary shard写入操作(主分片写入操作)等：
(1)接收节点监控功能模块收集到的封装信息和参数定义功能模块的各项定义指标，并解析出指标信息内容；
(2)确认节点为新增节点，对新增节点进行关闭新增索引的primary shard写入操作；
(3)通过实际接收的ram、CPU、disk等参数指标，对Rebalance过程产生的repicashard写入操作(副分片写入操作)进行控制，当某一参数阈值达到上限时，停止repicashard写入操作的执行；
(4)对任务数进行识别监控，达到参数定义的指定值之后，停止新的写入操作任务产生。
4、任务释放功能模块用于通过对新增节点平稳指标的识别，在新增节点达到平稳运行条件后对负载调节任务进行关闭和释放，恢复新增节点在集群中的正常工作：
(1)当新增节点的任务和各项指标趋于平稳后，发出调节任务释放的指令，例如，可以定义具体指标如当前节点的新增shard数降低为10个以下，task增长少量的n条/s，CUP和ram等使用比率趋于平稳并下降等；
(2)重新开启新增节点的primary shard写入操作；
(3)关闭新增节点中的各项限制操作；
(4)完成任务释放。
可见，本申请实施例所提供的任务调控方法，针对集群服务进行节点服务横向扩容的场景，对其新增节点的上线过程进行优化，以有效避免由于新增节点上线后同时触发Rebalance机制和全新索引创建写入过程，短时间内承接过多写入任务，进而导致新增节点负载过大而其它节点短时间内任务空闲、资源浪费的问题，通过对新增节点进行实时监控，并结合可自定义的标准阈值配置，便于合理的对节点任务进行介入，进而在适当的场景下完成节点负载的合理调节，避免新增节点的任务负载不合理导致的单节点负载过重、个别节点资源浪费的情况，有效地提升了集群运行效率以及集群性能。
为解决上述技术问题，本申请还提供了一种任务调控装置，请参考图3，图3为本申请所提供的一种任务调控装置的结构示意图，该任务调控装置可包括：
节点监控模块1，用于对集群节点进行实时监控，获得各节点的监控信息；
节点判断模块2，用于根据监控信息判断节点是否为新增节点；
阈值获取模块3，用于若节点为新增节点，则获取新增节点对应的标准阈值信息；
任务调控模块4，用于根据标准阈值信息和监控信息对新增节点进行任务调控。
可见，本申请实施例所提供的任务调控装置，针对集群服务进行节点服务横向扩容的场景，对其新增节点的上线过程进行优化，以有效避免由于新增节点上线后同时触发Rebalance机制和全新索引创建写入过程，短时间内承接过多写入任务，进而导致新增节点负载过大而其它节点短时间内任务空闲、资源浪费的问题，通过对新增节点进行实时监控，并结合可自定义的标准阈值配置，便于合理的对节点任务进行介入，进而在适当的场景下完成节点负载的合理调节，避免新增节点的任务负载不合理导致的单节点负载过重、个别节点资源浪费的情况，有效地提升了集群运行效率以及集群性能。
作为一种优选实施例，上述节点监控模块1可包括：
外部数据监控单元，用于对节点对应的机器运行过程进行监控，获得外部资源数据；
内部数据监控单元，用于对节点中的任务执行过程进行监控，获得内部运行数据；
数据封装单元，用于对外部资源数据和内部运行数据进行封装，获得监控信息。
作为一种优选实施例，上述任务调控模块4可包括：
主分片控制单元，用于关闭主分片写入操作；
副分片控制单元，用于根据标准阈值信息和监控信息对副分片写入操作的操作数量进行控制。
作为一种优选实施例，上述副分片控制单元可具体用于当监控信息未超出标准阈值信息时，开启副分片写入操作；当监控信息超出标准阈值信息时，关闭副分片写入操作。
作为一种优选实施例，该任务调控装置还可包括信息存储模块，用于将监控信息实时存储至预设存储空间。
作为一种优选实施例，该任务调控装置还可包括任务释放模块，用于根据预设存储空间的历史监控信息统计监控信息变化趋势；判断监控信息变化趋势是否趋于稳定，若是，则开启主分片写入操作。
作为一种优选实施例，该任务调控装置还可包括信息显示模块，用于将各监控信息发送至显示设备进行可视化展示。
对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述技术问题，本申请还提供了一种任务调控系统，请参考图4，图4为本申请所提供的一种任务调控系统的结构示意图，该任务调控系统可包括：
存储器10，用于存储计算机程序；
处理器20，用于执行计算机程序时可实现如上述任意一种任务调控方法的步骤。
对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种任务调控方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。
Claims (7)
1.一种任务调控方法，其特征在于，包括：
对集群节点进行实时监控，获得各节点的监控信息；
根据所述监控信息判断所述节点是否为新增节点；
若是，则获取所述新增节点对应的标准阈值信息；
关闭主分片写入操作；
当所述监控信息未超出所述标准阈值信息时，开启副分片写入操作；
当所述监控信息超出所述标准阈值信息时，关闭所述副分片写入操作；
根据预设存储空间的历史监控信息统计监控信息变化趋势；
判断所述监控信息变化趋势是否趋于稳定，若是，则开启所述主分片写入操作。
2.根据权利要求1所述的任务调控方法，其特征在于，所述对集群节点进行监控，获得各节点的监控信息，包括：
对所述节点对应的机器运行过程进行监控，获得外部资源数据；
对所述节点中的任务执行过程进行监控，获得内部运行数据；
对所述外部资源数据和所述内部运行数据进行封装，获得所述监控信息。
3.根据权利要求1所述的任务调控方法，其特征在于，还包括：
将所述监控信息实时存储至预设存储空间。
4.根据权利要求1所述的任务调控方法，其特征在于，还包括：
将各所述监控信息发送至显示设备进行可视化展示。
5.一种任务调控装置，其特征在于，包括：
节点监控模块，用于对集群节点进行实时监控，获得各节点的监控信息；节点判断模块，用于根据所述监控信息判断所述节点是否为新增节点；
阈值获取模块，用于若所述节点为所述新增节点，则获取所述新增节点对应的标准阈值信息；
任务调控模块，用于关闭主分片写入操作，当所述监控信息未超出所述标准阈值信息时，开启副分片写入操作，当所述监控信息超出所述标准阈值信息时，关闭所述副分片写入操作；
所述任务调控模块，还用于根据预设存储空间的历史监控信息统计监控信息变化趋势，并判断所述监控信息变化趋势是否趋于稳定，若是，则开启所述主分片写入操作。
6.一种任务调控系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至4任一项所述的任务调控方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至4任一项所述的任务调控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010975232.4A CN111949494B (zh) | 2020-09-16 | 2020-09-16 | 一种任务调控方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010975232.4A CN111949494B (zh) | 2020-09-16 | 2020-09-16 | 一种任务调控方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111949494A CN111949494A (zh) | 2020-11-17 |
| CN111949494B true CN111949494B (zh) | 2022-06-10 |
Family
ID=73356753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010975232.4A Active CN111949494B (zh) | 2020-09-16 | 2020-09-16 | 一种任务调控方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949494B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113311766B (zh) * | 2021-06-03 | 2022-09-06 | 中国工商银行股份有限公司 | 分布式系统批量节点监控方法、节点及系统 |
| WO2023216571A1 (zh) * | 2022-05-11 | 2023-11-16 | 华为云计算技术有限公司 | 弹性搜索集群的资源调度方法、装置及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
| CN106648897A (zh) * | 2016-12-28 | 2017-05-10 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的solr集群扩展方法及系统 |
| CN107734035A (zh) * | 2017-10-17 | 2018-02-23 | 华南理工大学 | 一种云计算环境下的虚拟集群自动伸缩方法 |
| CN108763026A (zh) * | 2018-05-31 | 2018-11-06 | 郑州云海信息技术有限公司 | 一种磁盘监控告警方法、系统、设备及计算机存储介质 |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| CN110633186A (zh) * | 2019-08-16 | 2019-12-31 | 南方电网科学研究院有限责任公司 | 用于电力计量微服务架构的日志监控系统及实现方法 |
-
2020
- 2020-09-16 CN CN202010975232.4A patent/CN111949494B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
| CN106648897A (zh) * | 2016-12-28 | 2017-05-10 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的solr集群扩展方法及系统 |
| CN107734035A (zh) * | 2017-10-17 | 2018-02-23 | 华南理工大学 | 一种云计算环境下的虚拟集群自动伸缩方法 |
| CN108763026A (zh) * | 2018-05-31 | 2018-11-06 | 郑州云海信息技术有限公司 | 一种磁盘监控告警方法、系统、设备及计算机存储介质 |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| CN110633186A (zh) * | 2019-08-16 | 2019-12-31 | 南方电网科学研究院有限责任公司 | 用于电力计量微服务架构的日志监控系统及实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| Online Payments by Merely Broadcasting Messages;Daniel Collins等;《2020 50th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN)》;20200731;第26-38段 * |
| WebCollector和ElasticSearch在高校网站群敏感词检测中的应用研究;钱红兵等;《电子设计工程》;20191231;第27卷(第24期);第11-15页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111949494A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110727512B (zh) | 集群资源调度方法、装置、设备及储存介质 | |
| CN112162865B (zh) | 服务器的调度方法、装置和服务器 | |
| CN111949494B (zh) | 一种任务调控方法、装置及相关设备 | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| WO2021159638A1 (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| CN110113387A (zh) | 一种基于分布式批量处理系统的处理方法、装置及系统 | |
| CN110474852B (zh) | 一种带宽调度方法及装置 | |
| CN106557369A (zh) | 一种多线程的管理方法及系统 | |
| CN110532086B (zh) | 资源复用方法、设备、系统及存储介质 | |
| CN108196959B (zh) | Etl系统的资源管理方法及装置 | |
| WO2021093365A1 (zh) | 一种gpu显存管理控制方法及相关装置 | |
| CN110990138A (zh) | 资源调度方法、装置、服务器及存储介质 | |
| WO2023131121A1 (zh) | 集成电路自动化并行仿真方法和仿真装置 | |
| CN112052082B (zh) | 任务属性优化方法、装置、服务器及存储介质 | |
| CN112015326B (zh) | 集群数据处理方法、装置、设备及存储介质 | |
| Yang et al. | Design of kubernetes scheduling strategy based on LSTM and grey model | |
| CN109697117A (zh) | 终端控制方法、装置以及计算机可读存储介质 | |
| CN110502495A (zh) | 一种应用服务器的日志收集方法及装置 | |
| CN112579257B (zh) | 一种虚拟中央处理器核心的调度方法、装置及相关设备 | |
| JP6031051B2 (ja) | ジョブ実行計画装置 | |
| CN111506410B (zh) | 一种后台批量处理业务的优化方法、系统和存储介质 | |
| CN108874546B (zh) | 一种linux优化资源使用的系统及方法 | |
| CN114124763A (zh) | 一种宽带接入速率的测量方法及系统 | |
| CN111083057A (zh) | 一种流量控制方法、装置及计算机存储介质 | |
| WO2024108810A1 (zh) | 智能切片系统的数据参考集生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231221 Address after: Room 1801, 18th Floor, Jiyun Investment Building, No. 278 Xinyi Road, Zhengdong New District, Zhengzhou City, Henan Province, 450018 Patentee after: Zhengzhou Inspur Data Technology Co.,Ltd. Address before: 100085 5 / F, building C, No.2, Shangdi Information Road, Haidian District, Beijing Patentee before: Beijing Inspur Data Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |