CN111767122A - 分布式任务调度管理方法和装置 - Google Patents
分布式任务调度管理方法和装置 Download PDFInfo
- Publication number
- CN111767122A CN111767122A CN201910411997.2A CN201910411997A CN111767122A CN 111767122 A CN111767122 A CN 111767122A CN 201910411997 A CN201910411997 A CN 201910411997A CN 111767122 A CN111767122 A CN 111767122A
- Authority
- CN
- China
- Prior art keywords
- task
- scheduling
- data
- monitoring
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 126
- 238000012544 monitoring process Methods 0.000 claims abstract description 108
- 230000002159 abnormal effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000001960 triggered effect Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004083 survival effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 7
- 230000005012 migration Effects 0.000 description 6
- 238000013508 migration Methods 0.000 description 6
- 239000010453 quartz Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000013467 fragmentation Methods 0.000 description 4
- 238000006062 fragmentation reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种分布式任务调度管理方法和装置，涉及计算机技术领域。其中，该方法包括：从缓存中获取注册中心集群信息表，根据该信息表与当前可用的注册中心集群建立连接；在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块；在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控；在监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。通过以上步骤，能够降低服务异常的风险，提高服务的稳定性和可靠性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种分布式任务调度管理方法和装置。
背景技术
目前，任务调度管理系统可分为两类：单机任务调度管理系统和分布式任务调度管理系统。单机任务调度管理系统的劣势显而易见，比如执行策略受到单机处理极限的限制，执行效率低下，单点故障导致任务丢失等；分布式任务调度管理系统支持任务执行的高并发，提高了集群对数据处理的水平。常用的分布式任务调度框架有quartz、elastic-job、TBSchedule、Saturn等。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的分布式任务调度管理系统存在服务稳定性差、可靠性低等缺陷。以TBSchedule为例来说，第一、TBSchedule在注册中心服务异常时会中断任务调度，同时不断盲目尝试重新连接注册中心，导致机器资源(如CPU和内存)使用率飙升，存在宕机风险，进一步影响服务的稳定性和可靠性；第二、TBSchedule不支持注册中心集群(比如Zookeeper集群)故障后的自动迁移机制，影响了调度管理服务的稳定性和可靠性，而且在故障发生后需要进行人为干预，增加了一定的人力成本。
发明内容
有鉴于此，本发明提供一种分布式任务调度管理方法和装置，能够降低服务异常的风险，提高服务的稳定性和可靠性。
为实现上述目的，根据本发明的一个方面，提供了一种分布式任务调度管理方法。
本发明的分布式任务调度方法包括：从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接；在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块；在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控；在监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
可选地，所述方法还包括：在定时监控任务触发后，对所述与该数据处理任务对应的调度数据进行监控；在监控到所述与该数据处理任务对应的调度数据存在异常的情况下，重新对该数据处理任务进行注册。
可选地，所述与该数据处理任务对应的调度数据包括：调度策略数据和任务数据；所述对所述与该数据处理任务对应的调度数据进行监控的步骤包括：监控任务数据中的任务项状态参数是否为第一取值，以及监控任务数据与调度策略数据所包含的任务项数量是否一致；在监控到所述任务项状态参数不是第一取值，或者监控到任务数据与调度策略数据所包含的任务项数量不一致的情况下，确认所述与该数据处理任务对应的调度数据存在异常；其中，所述任务项状态参数的第一取值表明该任务项处于存活状态。
可选地，所述方法还包括：在执行所述在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控的步骤之前，进行尝试获取注册中心的分布式锁的操作，并确认获取所述分布式锁成功。
可选地，所述执行模块设有多个任务处理线程；所述方法还包括：执行模块查询所述调度策略数据中的策略状态参数；在所述策略状态参数的取值为第一取值时，先获取JVM锁，然后移除任务处理线程，再释放所述JVM锁；在所述策略状态参数的取值为第二取值时，执行任务处理线程以对分配的任务项进行处理。
为实现上述目的，根据本发明的另一方面，提供了一种分布式任务调度管理装置。
本发明的分布式任务调度管理装置包括：连接模块，用于从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接；调度模块，用于在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块；监控模块，用于在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控；所述连接模块，还用于在所述监控模块监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
可选地，所述监控模块，还用于在定时监控任务触发后，对所述与该数据处理任务对应的调度数据进行监控；所述调度模块，还用于在所述监控模块监控到所述与该数据处理任务对应的调度数据存在异常的情况下，重新对该数据处理任务进行注册。
可选地，所述与该数据处理任务对应的调度数据包括：调度策略数据和任务数据；所述监控模块对所述与该数据处理任务对应的调度数据进行监控包括：所述监控模块监控任务数据中的任务项状态参数是否为第一取值，以及监控任务数据与调度策略数据所包含的任务项数量是否一致；在所述监控模块监控到所述任务项状态参数不是第一取值，或者在所述监控模块监控到任务数据与调度策略数据所包含的任务项数量不一致的情况下，确认所述与该数据处理任务对应的调度数据存在异常；其中，所述任务项状态参数的第一取值表明该任务项处于存活状态。
可选地，所述监控模块，还用于在执行所述在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控的操作之前，进行尝试获取注册中心的分布式锁的操作，并确认获取所述分布式锁成功。
可选地，所述装置还包括：执行模块，设有多个任务处理线程；所述执行模块，用于查询所述调度策略数据中的策略状态参数；在所述策略状态参数的取值为第一取值时，所述执行模块先获取JVM锁，然后移除任务处理线程，再释放所述JVM锁；在所述策略状态参数的取值为第二取值时，所述执行模块执行任务处理线程以对分配的任务项进行处理。
为实现上述目的，根据本发明的再一个方面，提供了一种电子设备。
本发明的电子设备，包括：一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的分布式任务调度管理方法。
为实现上述目的，根据本发明的又一个方面，提供了一种计算机可读介质。
本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明的分布式任务调度管理方法。
上述发明中的一个实施例具有如下优点或有益效果：通过从缓存中实时获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接，能够保证注册中心的高可用，进而有助于提高服务的稳定性和可靠性；通过在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块，能够最大程度利用系统资源，提高任务处理效率；通过创建定时监控任务，在定时监控任务触发后对所连接的注册中心集群的运行状态进行监控，以及，在监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接，实现了注册中心集群故障后的自动迁移功能，避免因注册中心服务异常时频繁、盲目地尝试重新连接注册中心等操作，有助于提高服务的稳定性和可靠性，同时在注册中心集群发生故障时无需人工干预，降低了人力成本。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明一个实施例的分布式任务调度管理方法的主要流程示意图；
图2是根据本发明另一个实施例的分布式任务调度管理方法的主要流程示意图；
图3是根据本发明再一个实施例的分布式任务调度管理方法中的任务执行子流程示意图；
图4是根据本发明一个实施例的分布式任务调度管理装置的主要模块的示意图；
图5是根据本发明另一个实施例的分布式任务调度管理装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以相互组合。
图1是根据本发明一个实施例的分布式任务调度管理方法的主要流程示意图。本发明实施例的方法可由分布式任务调度管理装置执行。如图1所示，本发明实施例的分布式任务调度管理方法包括：
步骤S101、从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接。
其中，所述注册中心集群信息表可包括：多个注册中心集群的状态参数、以及多个注册中心集群的连接参数(比如注册中心集群的域名)。进一步，所述注册中心集群的状态参数的取值可包括：第一取值，用于表明注册中心集群处于可用状态；第二取值，用于表明注册中心集群处于不可用状态。
示例性地，所述缓存可以为基于Redis构建的缓存，所述注册中心集群可以为Zookeeper集群。在步骤S101中，可从Redis中获取Zookeeper集群信息表，然后根据该信息表中的状态参数选择一个当前可用的Zookeeper集群，并根据连接参数与该当前可用的Zookeeper集群建立连接。
步骤S102、在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块。
具体实施时，可由执行模块(或称为“基础服务模块”或者“任务执行模块”)向本发明中的分布式任务调度管理装置发送注册请求。其中，所述执行模块位于执行机上。在接收到注册请求后，分布式任务调度管理装置可执行步骤S102。
其中，所述与数据处理任务对应的调度数据包括：调度策略数据和任务数据。示例性地，当所述注册中心集群为Zookeeper集群时，其会采用树形结构中的节点存储调度数据。该树形结构主要包括以下三种类型的节点：存储任务数据的节点、存储调度策略数据的节点、存储执行机注册的主机数据的节点。在进行注册时，分布式任务调度管理装置可先清除Zookeeper集群中存储的历史调度策略数据和历史任务数据，再创建与数据处理任务对应的调度数据。
步骤S103、在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控。
在本发明实施例中，可预先创建定时监控任务，并通过周期性地执行该定时监控任务的方式对所连接的注册中心集群的运行状态进行监控。具体实施时，可基于SpringMVC自带的quartz创建定时监控任务。
示例性地，所述对所连接的注册中心集群的运行状态进行监控的步骤包括：通过心跳检测获取所连接的注册中心集群返回的连接状态参数，在所述连接状态参数为第一状态取值(比如“connection_loss”)时，认为所连接的注册中心集群的运行状态异常；在所述连接状态参数为第二状态取值(比如“connection_success”)，认为所连接的注册中心集群的运行状态正常。
步骤S104、在监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
在该步骤中，可将信息表中所连接的注册中心集群的状态参数的取值更新为第二取值，以用于表明该注册中心集群处于不可用状态。之后，可根据更新后的信息表选择一个当前可用的注册中心集群，并与之建立连接。
在本发明实施例中，通过从缓存中实时获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接，能够保证注册中心的高可用，进而有助于提高服务的稳定性和可靠性；通过在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块，能够最大程度利用系统资源，提高任务处理效率；通过创建定时监控任务，在定时监控任务触发后对所连接的注册中心集群的运行状态进行监控，以及，在监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接，实现了注册中心集群故障后的自动迁移功能，避免因注册中心服务异常时频繁、盲目地尝试重新连接注册中心等操作，有助于提高服务的稳定性和可靠性。
图2是根据本发明另一个实施例的分布式任务调度管理方法的主要流程示意图。本发明实施例的方式可由分布式任务调度管理装置执行。如图2所示，本发明实施例的分布式任务调度管理方法包括：
步骤S201、从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接。
其中，所述注册中心集群信息表可包括：多个注册中心集群的状态参数、以及多个注册中心集群的连接参数(比如注册中心集群的域名)。进一步，所述注册中心集群的状态参数的取值可包括：第一取值，用于表明注册中心集群处于可用状态；第二取值，用于表明注册中心集群处于不可用状态。
示例性地，所述缓存可以为基于Redis构建的缓存，所述注册中心集群可以为Zookeeper集群。在步骤S101中，可从Redis中获取Zookeeper集群信息表，然后根据该信息表中的状态参数选择一个当前可用的Zookeeper集群，并根据连接参数与该当前可用的Zookeeper集群建立连接。
步骤S202、在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块。
具体实施时，可由执行模块(或称为“基础服务模块”或者“任务执行模块”)向本发明中的分布式任务调度管理装置发送注册请求。其中，所述执行模块位于执行机上。在接收到注册请求后，分布式任务调度管理装置可执行步骤S202。
其中，所述与数据处理任务对应的调度数据包括：调度策略数据和任务数据。示例性地，当所述注册中心集群为Zookeeper集群时，其会采用树形结构中的节点存储调度数据。该树形结构主要包括以下三种类型的节点：存储任务数据的节点、存储调度策略数据的节点、存储执行机注册的主机数据的节点。在进行注册时，分布式任务调度管理装置可先清除Zookeeper集群中存储的历史调度策略数据和历史任务数据，再创建与数据处理任务对应的调度数据。
步骤S203、在定时监控任务触发后，对所连接的注册中心集群的运行状态、以及所述与该数据处理任务对应的调度数据进行监控。
在本发明实施例中，可预先创建定时监控任务，并通过周期性地执行该定时监控任务的方式对所连接的注册中心集群的运行状态、以及所述与该数据处理任务对应的调度数据进行监控。具体实施时，可基于SpringMVC自带的quartz创建定时监控任务。
考虑到采用分布式服务器集群部署方式时，会有多个分布式任务调度管理装置(或者称为分布式任务调度管理实例)同时运行，为了减少并发异常，在步骤S203之前，本发明实施例的方法还可包括：进行尝试获取注册中心的分布式锁的操作，并确认获取所述分布式锁成功。
步骤S204、判断所连接的注册中心集群的运行状态是否异常。在所连接的注册中心集群的运行状态异常的情况下，执行步骤S205；在所连接的注册中心集群的运行状态正常的情况下，执行步骤S206。
示例性地，所述判断所连接的注册中心集群的运行状态是否异常的步骤包括：通过心跳检测获取所连接的注册中心集群返回的连接状态参数，在所述连接状态参数为第一状态取值(比如“connection_loss”)时，判断出所连接的注册中心集群的运行状态异常；在所述连接状态参数为第二状态取值(比如“connection_success”)，判断出所连接的注册中心集群的运行状态正常。
步骤S205、更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
在该步骤中，可将信息表中所连接的注册中心集群的状态参数的取值更新为第二取值，以用于表明该注册中心集群处于不可用状态。之后，可根据更新后的信息表选择一个当前可用的注册中心集群，并与之建立连接。
步骤S206、判断与数据处理任务对应的调度数据是否异常。在所述与数据处理任务对应的调度数据异常的情况下，执行步骤S207；在所述与数据处理任务对应的调度数据正常的情况下，执行步骤S208。
示例性地，所述判断与数据处理任务对应的调度数据是否异常的步骤包括：监控任务数据中的任务项状态参数(比如其可表示为“taskItem-/sts”)是否为第一取值(比如第一取值可表示为“active”)，以及监控任务数据与调度策略数据所包含的任务项数量是否一致；在监控到所述任务项状态参数不是第一取值，或者监控到任务数据与调度策略数据所包含的任务项数量不一致的情况下，判断出所述与该数据处理任务对应的调度数据存在异常；在监控到所述任务项状态参数是第一取值，且监控到任务数据与调度策略数据所包含的任务项数量一致的情况下，判断出所述与该数据处理任务对应的调度数据正常。其中，所述任务项状态参数的第一取值表明该任务项处于存活状态。
步骤S207、重新对该数据处理任务进行注册。
步骤S208、结束此次监控流程。
在本发明实施例中，通过从缓存中实时获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接，能够保证注册中心的高可用，进而有助于提高服务的稳定性和可靠性；通过在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块，能够最大程度利用系统资源，提高任务处理效率；通过创建定时监控任务，在定时监控任务触发后对所连接的注册中心集群的运行状态、以及与数据处理任务对应的调度数据进行监控等步骤，实现了注册中心集群故障后的自动迁移功能，降低了服务异常的风险，有助于提高服务的稳定性和可靠性，同时由于在注册中心集群发生故障时无需人工干预，降低了人力成本。
图3是根据本发明再一个实施例的分布式任务调度管理方法中的任务执行子流程示意图。在本发明实施例中，除了包括图1或图2所示流程之外，还包括图3所示任务执行子流程。其中，图3所示流程可由分布式任务调度管理装置所包括的执行模块执行。如图3所示，本发明实施例中的任务执行子流程包括：
步骤S301、执行模块查询所述调度策略数据中的策略状态参数。
在该步骤中，执行模块可访问注册中心集群中的树形存储结构，以查询出所述调度策略数据中的策略状态参数。
步骤S302、判断策略状态参数是否为第一取值。在策略状态参数为第一取值的情况下，执行步骤S303；否则，执行步骤S304。
示例性地，所述调度策略数据中的策略状态参数的第一取值可表示为“resume”，所述调度策略数据中的策略状态参数的第二取值可表示为“pause”。当所述调度策略数据中的策略状态参数的取值为“resume”时，可执行步骤S303；当所述调度策略数据中的策略状态参数的取值为“pause”时，可执行步骤S304。
步骤S303、执行任务处理线程以对分配的任务项进行处理。
在一个可选示例中，为了提高处理效率，任务处理线程可先根据任务项分片参数从数据库中批量获取与该任务项对应的待处理数据，并将这些待处理数据放入数据池中，然后再对这些待处理数据进行批量处理。具体实施时，所述当前处理线程可以为多个。
其中，所述任务处理线程可先根据任务项分片参数从数据库中批量获取与该任务项对应的待处理数据的步骤可包括：计算待处理数据的唯一标识的哈希码(hashcode)值，并对该哈希码值进行取模运算，并将取模运算结果位于该任务项分片参数限定的筛选区间的数据筛选出来。
在另一个可选示例中，为了提高筛选效率，任务处理处理线程可根据任务项分片参数和待处理数据的分页信息(或者说页码信息)从数据库中批量获取与该任务项对应的待处理数据，并将这些待处理数据放入数据池中，然后再对这些待处理数据进行批量处理。
步骤S304、执行模块获取JVM锁。在步骤S304之后，可依次执行步骤S305、步骤S306。
示例性地，JVM(Java虚拟机)锁可以为同步锁。
步骤S305、执行模块移除任务处理线程。
步骤S306、执行模块释放锁。在步骤S306之后，可执行步骤S307。
考虑在多线程环境下，如果在根据步骤S302的判断结果确认需要移除任务处理线程后，直接将任务处理线程移除，可能出现多个移除操作并发导致异常中断进而出现死循环的问题，严重影响CPU和内存利用率。鉴于此，在本发明实施例中，通过步骤S304、步骤S305和步骤S306，能够避免移除操作并发问题，避免了死循环。
具体实施时，可以通过对实现移除任务处理线程这一操作的代码设置Synchronized关键字，使得执行模块在执行这段代码时会先获取JVM锁、再移除任务处理线程、然后释放锁，进而能够确保在同一时刻只有一个线程执行移除操作。
步骤S307、在线程队列为空的情况下，执行模块注销在注册中心集群创建的临时节点。
在本发明实施例中，通过以上步骤实现了任务执行子流程。在上述流程中，通过步骤S304至步骤S306能够提高多线程执行的安全性，通过设置多个当前处理线程，并在执行数据处理任务时批量获取待处理数据等步骤，能够提高数据处理效率。
图4是根据本发明一个实施例的分布式任务调度管理装置的主要模块的示意图。如图4所示，本发明实施例的分布式任务调度管理装置400包括：连接模块401、调度模块402、监控模块403。
连接模块401，用于从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接。
其中，所述注册中心集群信息表可包括：多个注册中心集群的状态参数、以及多个注册中心集群的连接参数(比如注册中心集群的域名)。进一步，所述注册中心集群的状态参数的取值可包括：第一取值，用于表明注册中心集群处于可用状态；第二取值，用于表明注册中心集群处于不可用状态。
示例性地，所述缓存可以为基于Redis构建的缓存，所述注册中心集群可以为Zookeeper集群。在该示例中，连接模块401可从Redis中获取Zookeeper集群信息表，然后根据该信息表中的状态参数选择一个当前可用的Zookeeper集群，并根据连接参数与该当前可用的Zookeeper集群建立连接。
调度模块402，用于在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块。
具体实施时，可由执行模块(或称为“基础服务模块”或者“任务执行模块”)向本发明中的分布式任务调度管理装置400发送注册请求。其中，所述执行模块位于执行机上。在接收到注册请求后，可由分布式任务调度管理装置400中的调度模块402执行任务注册、任务分配操作。
其中，所述与数据处理任务对应的调度数据包括：调度策略数据和任务数据。示例性地，当所述注册中心集群为Zookeeper集群时，其会采用树形结构中的节点存储调度数据。该树形结构主要包括以下三种类型的节点：存储任务数据的节点、存储调度策略数据的节点、存储执行机注册的主机数据的节点。在进行注册时，调度模块402可先清除Zookeeper集群中存储的历史调度策略数据和历史任务数据，再创建与数据处理任务对应的调度数据。
监控模块403，用于在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控。
在本发明实施例中，可预先创建定时监控任务，并通过监控模块403周期性地执行该定时监控任务的方式对所连接的注册中心集群的运行状态进行监控。具体实施时，可基于SpringMVC自带的quartz创建定时监控任务。
示例性地，监控模块403对所连接的注册中心集群的运行状态进行监控包括：监控模块403通过心跳检测获取所连接的注册中心集群返回的连接状态参数，在所述连接状态参数为第一状态取值(比如“connection_loss”)时，认为所连接的注册中心集群的运行状态异常；在所述连接状态参数为第二状态取值(比如“connection_success”)，认为所连接的注册中心集群的运行状态正常。
连接模块401，还用于在监控模块403监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
示例性地，连接模块401可将信息表中所连接的注册中心集群的状态参数的取值更新为第二取值，以用于表明该注册中心集群处于不可用状态。之后，连接模块401可根据更新后的信息表选择一个当前可用的注册中心集群，并与之建立连接。
在本发明实施例中，通过连接模块从缓存中实时获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接，能够保证注册中心的高可用，进而有助于提高服务的稳定性和可靠性；通过调度模块在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块，能够最大程度利用系统资源，提高任务处理效率；通过监控模块在定时监控任务触发后对所连接的注册中心集群的运行状态进行监控，以及，在监控到所连接的注册中心集群的运行状态出现异常的情况下，通过连接模块更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接，实现了注册中心集群故障后的自动迁移功能，避免因注册中心服务异常时频繁、盲目地尝试重新连接注册中心等操作，有助于提高服务的稳定性和可靠性。
图5是根据本发明另一个实施例的分布式任务调度管理装置的主要模块的示意图。如图5所示，本发明实施例的分布式任务调度管理装置500包括：连接模块501、调度模块502、监控模块503、执行模块504。
连接模块501，用于从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接。
其中，所述注册中心集群信息表可包括：多个注册中心集群的状态参数、以及多个注册中心集群的连接参数(比如注册中心集群的域名)。进一步，所述注册中心集群的状态参数的取值可包括：第一取值，用于表明注册中心集群处于可用状态；第二取值，用于表明注册中心集群处于不可用状态。
示例性地，所述缓存可以为基于Redis构建的缓存，所述注册中心集群可以为Zookeeper集群。在该示例中，连接模块501可从Redis中获取Zookeeper集群信息表，然后根据该信息表中的状态参数选择一个当前可用的Zookeeper集群，并根据连接参数与该当前可用的Zookeeper集群建立连接。
调度模块502，用于在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块。
具体实施时，可由执行模块(或称为“基础服务模块”或者“任务执行模块”)向本发明中的分布式任务调度管理装置500发送注册请求。其中，所述执行模块位于执行机上。在接收到注册请求后，可由分布式任务调度管理装置500中的调度模块502执行任务注册、任务分配操作。
其中，所述与数据处理任务对应的调度数据包括：调度策略数据和任务数据。示例性地，当所述注册中心集群为Zookeeper集群时，其会采用树形结构中的节点存储调度数据。该树形结构主要包括以下三种类型的节点：存储任务数据的节点、存储调度策略数据的节点、存储执行机注册的主机数据的节点。在进行注册时，调度模块502可先清除Zookeeper集群中存储的历史调度策略数据和历史任务数据，再创建与数据处理任务对应的调度数据。
监控模块503，用于在定时监控任务触发后，对所连接的注册中心集群的运行状态、以及所述与该数据处理任务对应的调度数据进行监控。
在本发明实施例中，可预先创建定时监控任务，并通过监控模块503周期性地执行该定时监控任务的方式对所连接的注册中心集群的运行状态、以及所述与该数据处理任务对应的调度数据进行监控。具体实施时，可基于SpringMVC自带的quartz创建定时监控任务。
考虑到采用分布式服务器集群部署方式时，会有多个分布式任务调度管理装置(或者称为分布式任务调度管理实例)同时运行，为了减少并发异常，在监控模块503执行所述对所连接的注册中心集群的运行状态、以及所述与该数据处理任务对应的调度数据进行监控的操作之前，还可通过监控模块503执行以下操作：进行尝试获取注册中心的分布式锁的操作，并确认获取所述分布式锁成功。
示例性地，监控模块503对所连接的注册中心集群的运行状态进行监控包括：监控模块503通过心跳检测获取所连接的注册中心集群返回的连接状态参数，在所述连接状态参数为第一状态取值(比如“connection_loss”)时，判断出所连接的注册中心集群的运行状态异常；在所述连接状态参数为第二状态取值(比如“connection_success”)，判断出所连接的注册中心集群的运行状态正常。
示例性地，监控模块503对与数据处理任务对应的调度数据进行监控包括：监控模块503监控任务数据中的任务项状态参数(比如其可表示为“taskItem-/sts”)是否为第一取值(比如第一取值可表示为“active”)，以及监控任务数据与调度策略数据所包含的任务项数量是否一致；在监控到所述任务项状态参数不是第一取值，或者监控到任务数据与调度策略数据所包含的任务项数量不一致的情况下，判断出所述与该数据处理任务对应的调度数据存在异常；在监控到所述任务项状态参数是第一取值，且监控到任务数据与调度策略数据所包含的任务项数量一致的情况下，判断出所述与该数据处理任务对应的调度数据正常。其中，所述任务项状态参数的第一取值表明该任务项处于存活状态。
连接模块501，还用于在监控模块503监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
调度模块502，还用于在监控模块503监控到所述与该数据处理任务对应的调度数据存在异常的情况下，重新对该数据处理任务进行注册。
其中，所述重新对该数据处理任务进行注册的操作，即重新在所连接的注册中心集群中创建与数据处理任务对应的调度数据。
可选地，本发明实施例中的装置还可包括执行模块504。执行模块504，设有多个任务处理线程；执行模块504，用于查询所述调度策略数据中的策略状态参数；在所述策略状态参数的取值为第一取值时，执行模块504先获取JVM锁，然后移除任务处理线程，再释放所述JVM锁；在所述策略状态参数的取值为第二取值时，执行模块504执行任务处理线程以对分配的任务项进行处理。
在本发明实施例中，通过连接模块从缓存中实时获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接，能够保证注册中心的高可用，进而有助于提高服务的稳定性和可靠性；通过调度模块在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块，能够最大程度利用系统资源，提高任务处理效率；通过监控模块在定时监控任务触发后对所连接的注册中心集群的运行状态、以及与数据处理任务对应的调度数据进行监控，并通过连接模块在注册中心集群异常时重连、调度模块在任务注册数据异常时对任务进行重新注册等操作，实现了注册中心集群故障后的自动迁移功能，降低了服务异常的风险，有助于提高服务的稳定性和可靠性，同时由于在注册中心集群发生故障时无需人工干预，降低了人力成本。
图6示出了可以应用本发明实施例的分布式任务调度管理方法或分布式任务调度管理装置的示例性系统架构600。
如图6所示，系统架构600可以包括Redis 601、Zookeeper 602、分布式任务调度管理集群603、数据库集群604。
Redis 601可采取集群部署方式，如图6所示的Redis集群1、Redis集群2。Redis601可用于缓存Zookeeper集群信息表。
Zookeeper 602可采取集群部署方式，如图6所示的Zookeeper集群1、Zookeeper集群2。Zookeeper 602作为注册中心，主要用于存储、管理任务调度数据。
分布式任务调度管理集群603包括多个实例，如图6所示的实例1、实例2、……实例N。其中，每个实例中设有一个分布式任务调度管理装置。分布式任务调度装置可用于对数据处理任务进行注册、分配等。具体实施时，在进行多区域部署时，可在每个区域部署一个分布式任务调度管理集群。
数据库集群604，可用于存储待处理数据、待注册的数据处理任务等。数据库集群604可包括主实例(Master)和多个从实例(Slave)。
需要说明的是，本发明实施例所提供的分布式任务调度管理方法一般由分布式任务调度管理集群中的实例执行，分布式任务调度管理装置一般也设置在分布式任务调度管理集群中的实例。
应该理解，图6的Redis集群、Zookeeper集群、以及分布式任务调度管理集群中的实例个数仅为示例。
下面参考图7，其示出了适于用来实现本发明实施例的电子设备的计算机系统700的结构示意图。图7出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括连接模块、调度模块、监控模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，连接模块还可以被描述为“与注册中心集群建立连接的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程：从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接；在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块；在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控；在监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种分布式任务调度管理方法，其特征在于，所述方法包括：
从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接；
在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块；
在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控；
在监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在定时监控任务触发后，对所述与该数据处理任务对应的调度数据进行监控；在监控到所述与该数据处理任务对应的调度数据存在异常的情况下，重新对该数据处理任务进行注册。
3.根据权利要求2所述的方法，其特征在于，所述与该数据处理任务对应的调度数据包括：调度策略数据和任务数据；所述对所述与该数据处理任务对应的调度数据进行监控的步骤包括：
监控任务数据中的任务项状态参数是否为第一取值，以及监控任务数据与调度策略数据所包含的任务项数量是否一致；在监控到所述任务项状态参数不是第一取值，或者监控到任务数据与调度策略数据所包含的任务项数量不一致的情况下，确认所述与该数据处理任务对应的调度数据存在异常；其中，所述任务项状态参数的第一取值表明该任务项处于存活状态。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在执行所述在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控的步骤之前，进行尝试获取注册中心的分布式锁的操作，并确认获取所述分布式锁成功。
5.根据权利要求1所述的方法，其特征在于，所述执行模块设有多个任务处理线程；所述方法还包括：
执行模块查询所述调度策略数据中的策略状态参数；在所述策略状态参数的取值为第一取值时，先获取JVM锁，然后移除任务处理线程，再释放所述JVM锁；在所述策略状态参数的取值为第二取值时，执行任务处理线程以对分配的任务项进行处理。
6.一种分布式任务调度装置，其特征在于，所述装置包括：
连接模块，用于从缓存中获取注册中心集群信息表，根据所述信息表与当前可用的注册中心集群建立连接；
调度模块，用于在接收到注册请求后，在所连接的注册中心集群中创建与数据处理任务对应的调度数据，并将通过对数据处理任务进行分片得到的任务项分配至执行模块；
监控模块，用于在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控；
所述连接模块，还用于在所述监控模块监控到所连接的注册中心集群的运行状态出现异常的情况下，更新所述信息表，并根据更新后的信息表与当前可用的注册中心集群重新建立连接。
7.根据权利要求6所述的装置，其特征在于，所述监控模块，还用于在定时监控任务触发后，对所述与该数据处理任务对应的调度数据进行监控；所述调度模块，还用于在所述监控模块监控到所述与该数据处理任务对应的调度数据存在异常的情况下，重新对该数据处理任务进行注册。
8.根据权利要求7所述的装置，其特征在于，所述与该数据处理任务对应的调度数据包括：调度策略数据和任务数据；所述监控模块对所述与该数据处理任务对应的调度数据进行监控包括：
所述监控模块监控任务数据中的任务项状态参数是否为第一取值，以及监控任务数据与调度策略数据所包含的任务项数量是否一致；在所述监控模块监控到所述任务项状态参数不是第一取值，或者在所述监控模块监控到任务数据与调度策略数据所包含的任务项数量不一致的情况下，确认所述与该数据处理任务对应的调度数据存在异常；其中，所述任务项状态参数的第一取值表明该任务项处于存活状态。
9.根据权利要求8所述的装置，其特征在于，所述监控模块，还用于在执行所述在定时监控任务触发后，对所连接的注册中心集群的运行状态进行监控的操作之前，进行尝试获取注册中心的分布式锁的操作，并确认获取所述分布式锁成功。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
执行模块，设有多个任务处理线程；所述执行模块，用于查询所述调度策略数据中的策略状态参数；在所述策略状态参数的取值为第一取值时，所述执行模块先获取JVM锁，然后移除任务处理线程，再释放所述JVM锁；在所述策略状态参数的取值为第二取值时，所述执行模块执行任务处理线程以对分配的任务项进行处理。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411997.2A CN111767122A (zh) | 2019-05-17 | 2019-05-17 | 分布式任务调度管理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411997.2A CN111767122A (zh) | 2019-05-17 | 2019-05-17 | 分布式任务调度管理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767122A true CN111767122A (zh) | 2020-10-13 |
Family
ID=72718782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910411997.2A Pending CN111767122A (zh) | 2019-05-17 | 2019-05-17 | 分布式任务调度管理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767122A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112231119A (zh) * | 2020-10-16 | 2021-01-15 | 广西科技大学 | 一种基于分布式的云管理系统数据中台服务设计方法 |
| CN113296914A (zh) * | 2021-05-31 | 2021-08-24 | 中电福富信息科技有限公司 | 一种基于ZooKeeper的分布式任务调度系统及方法 |
| CN114138324A (zh) * | 2021-11-17 | 2022-03-04 | 杭州隆埠科技有限公司 | 一种基于云服务的任务控制方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106484530A (zh) * | 2016-09-05 | 2017-03-08 | 努比亚技术有限公司 | 一种分布式任务调度运维监控系统及方法 |
| US20180077230A1 (en) * | 2016-09-14 | 2018-03-15 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for switching between servers in server cluster |
| CN108183961A (zh) * | 2018-01-04 | 2018-06-19 | 中电福富信息科技有限公司 | 一种基于Redis的分布式缓存方法 |
| CN108287764A (zh) * | 2018-01-31 | 2018-07-17 | 上海携程商务有限公司 | 分布式任务调度方法及其系统、存储介质、电子设备 |
| CN109656782A (zh) * | 2018-12-24 | 2019-04-19 | 成都四方伟业软件股份有限公司 | 可视化调度监控方法、装置及服务器 |
-
2019
- 2019-05-17 CN CN201910411997.2A patent/CN111767122A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106484530A (zh) * | 2016-09-05 | 2017-03-08 | 努比亚技术有限公司 | 一种分布式任务调度运维监控系统及方法 |
| US20180077230A1 (en) * | 2016-09-14 | 2018-03-15 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for switching between servers in server cluster |
| CN108183961A (zh) * | 2018-01-04 | 2018-06-19 | 中电福富信息科技有限公司 | 一种基于Redis的分布式缓存方法 |
| CN108287764A (zh) * | 2018-01-31 | 2018-07-17 | 上海携程商务有限公司 | 分布式任务调度方法及其系统、存储介质、电子设备 |
| CN109656782A (zh) * | 2018-12-24 | 2019-04-19 | 成都四方伟业软件股份有限公司 | 可视化调度监控方法、装置及服务器 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112231119A (zh) * | 2020-10-16 | 2021-01-15 | 广西科技大学 | 一种基于分布式的云管理系统数据中台服务设计方法 |
| CN112231119B (zh) * | 2020-10-16 | 2024-01-30 | 广西科技大学 | 一种基于分布式的云管理系统数据中台服务设计方法 |
| CN113296914A (zh) * | 2021-05-31 | 2021-08-24 | 中电福富信息科技有限公司 | 一种基于ZooKeeper的分布式任务调度系统及方法 |
| CN114138324A (zh) * | 2021-11-17 | 2022-03-04 | 杭州隆埠科技有限公司 | 一种基于云服务的任务控制方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11030009B2 (en) | Systems and methods for automatically scaling compute resources based on demand | |
| US10686728B2 (en) | Systems and methods for allocating computing resources in distributed computing | |
| CA3168286A1 (en) | Data flow processing method and system | |
| CN111767122A (zh) | 分布式任务调度管理方法和装置 | |
| US11190459B2 (en) | Connection pool management | |
| CN108874549B (zh) | 资源复用方法、装置、终端和计算机可读存储介质 | |
| CN111209110A (zh) | 一种实现负载均衡的任务调度管理方法、系统和存储介质 | |
| CN105373453B (zh) | 数据备份方法及系统 | |
| CN104468638A (zh) | 一种分布式数据处理方法及系统 | |
| CN113422692A (zh) | 一种K8s集群内节点故障检测及处理方法、装置及存储介质 | |
| CN111538585A (zh) | 一种基于node.js的服务器进程调度方法、系统和装置 | |
| CN111273924A (zh) | 软件更新方法及装置 | |
| CN108628677B (zh) | 分布式任务处理系统、方法和装置 | |
| CN111885112A (zh) | 节点服务异常处理方法、装置、设备及存储介质 | |
| CN115373799A (zh) | 一种集群管理的方法、装置及电子设备 | |
| CN111198753A (zh) | 任务调度方法和装置 | |
| CN114189439A (zh) | 一种自动扩容的方法及装置 | |
| CN106897128B (zh) | 一种分布式应用退出方法、系统以及服务器 | |
| CN117193974A (zh) | 基于多进程/线程的配置请求处理方法及装置 | |
| CN116319758A (zh) | 数据迁移方法、装置、电子设备及可读存储介质 | |
| CN114816866A (zh) | 故障处理方法、装置、电子设备和存储介质 | |
| CN113204418A (zh) | 任务调度的方法、装置、电子设备和存储介质 | |
| CN114416276A (zh) | 设备管理服务的调度方法、装置、电子设备及存储介质 | |
| JP2015121963A (ja) | 情報処理システム、監視方法、及び、プログラム | |
| CN113839783A (zh) | 一种任务处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |