CN113220427A - 任务调度方法、装置、计算机设备及存储介质 - Google Patents
任务调度方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113220427A CN113220427A CN202110406606.5A CN202110406606A CN113220427A CN 113220427 A CN113220427 A CN 113220427A CN 202110406606 A CN202110406606 A CN 202110406606A CN 113220427 A CN113220427 A CN 113220427A
- Authority
- CN
- China
- Prior art keywords
- task
- concurrent
- execution
- tasks
- subtask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000010453 quartz Substances 0.000 description 7
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013467 fragmentation Methods 0.000 description 5
- 238000006062 fragmentation reaction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开揭示了一种任务调度方法、装置、计算机设备及存储介质，属于分布式计算机技术领域。该方法包括：获取第一执行任务；第一执行任务是当前启动处理的至少一个任务；对第一执行任务进行分片，生成各个并发子任务；基于集群资源信息，执行第一并发子任务；集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；第一并发子任务的数量小于等于并发任务最大值；并发任务最大值用于指示服务器集群支持同时执行的最大任务数量。通过上述方案，可以解决同步执行各个分片子任务需要系统提供大量的系统资源，从而导致系统同步执行的任务量超过系统负载的问题，提高了任务调度的合理性，进而提高了系统的稳定性。
Description
技术领域
本公开涉及分布式计算机技术领域，特别是涉及一种任务调度方法、装置、计算机设备及存储介质。
背景技术
目前，在任务调度系统运行中，用户可以提交大量任务请求，通过任务调度系统调度各个任务请求对应的任务，并且通过服务器节点执行各个任务。其中，通过Quartz任务调度框架进行任务调度可以使得在同一时间中一项任务只会被服务器集群中的一个服务器节点调度执行。
在相关技术中，通过引入Zookeeper集群，选取Master节点将接收到的各个任务进行分片后，分配给Zookeeper集群中的各个Quartz定时服务器节点，使得各个服务器节点可以同时执行一个任务的多个分片后的任务，可以快速的通过各个服务器节点执行各个任务。
然而，相关技术中的方案，通过将任务进行分片后由服务器节点进行同步执行，虽然提高了任务执行的速度，但是，当任务量过大的情况下，为了实现对各个分片任务的同步执行需要系统提供大量的系统资源，当系统同步执行的任务量超过系统负载时，会导致系统稳定性较差。
发明内容
本公开提供一种任务调度方法、装置、计算机设备及存储介质。所述技术方案如下：
一方面，提供了一种任务调度方法，所述方法包括：
获取第一执行任务；所述第一执行任务是当前启动处理的至少一个任务；
对所述第一执行任务进行分片，生成各个并发子任务；
基于集群资源信息，执行第一并发子任务；所述集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；所述第一并发子任务的数量小于等于并发任务最大值；所述并发任务最大值用于指示所述服务器集群支持同时执行的最大任务数量。
在一种可能的实现方式中，所述获取第一执行任务之前，还包括：
接收各个任务请求，将各个所述任务请求对应的所述任务存储在数据库任务表中；所述数据库任务表中包含各个所述任务请求对应的用户标识以及任务标识。
在一种可能的实现方式中，所述获取第一执行任务，包括：
从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中；所述指定数量是根据所述并发任务最大值、正在执行的任务数总量、所述用户标识的数量以及所述任务标识的数量确定的，所述指定数量用于指示选取为所述第一执行任务的各个用户标识对应的执行任务数量最大值；
从所述数据库执行任务表中获取所述第一执行任务。
在一种可能的实现方式中，所述从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中之前，还包括：
基于所述集群资源信息，获取所述并发任务最大值；
获取当前时刻所述服务器集群中所述正在执行的任务数总量。
在一种可能的实现方式中，所述基于集群资源信息，执行第一并发子任务，包括：
将所述并发任务最大值与所述正在执行的任务数总量的差值作为第一并发子任务数量；
根据所述第一并发子任务数量，从所述各个并发子任务中选取所述第一并发子任务；
执行所述第一并发子任务。
在一种可能的实现方式中，所述根据所述第一并发子任务的数量，从所述各个并发子任务中选取所述第一并发子任务，包括：
获取所述各个并发子任务对应的任务标识；
根据所述任务标识确定所述各个并发子任务的执行优先级；
根据所述执行优先级，从所述各个并发子任务中确定所述第一并发子任务数量的所述第一并发子任务。
在一种可能的实现方式中，所述方法还包括：
响应于所述第一执行任务的各个所述并发子任务执行完成，将所述第一执行任务从所述数据库执行任务表中删除。
一方面，提供了一种任务调度装置，所述装置包括：
第一任务获取模块，用于获取第一执行任务；所述第一执行任务是当前启动处理的至少一个任务；
子任务生成模块，用于对所述第一执行任务进行分片，生成各个并发子任务；
第一子任务执行模块，用于基于集群资源信息，执行第一并发子任务；所述集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；所述第一并发子任务的数量小于等于并发任务最大值；所述并发任务最大值用于指示所述服务器集群支持同时执行的最大任务数量。
在一种可能的实现方式中，所述装置还包括：
请求接收模块，用于接收各个任务请求，将各个所述任务请求对应的所述任务存储在数据库任务表中；所述数据库任务表中包含各个所述任务请求对应的用户标识以及任务标识。
在一种可能的实现方式中，所述第一任务获取模块，包括：
任务选取子模块，用于从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中；所述指定数量是根据所述并发任务最大值、正在执行的任务数总量、所述用户标识的数量以及所述任务标识的数量确定的，所述指定数量用于指示选取为所述第一执行任务的各个用户标识对应的执行任务数量最大值；
第一任务获取子模块，用于从所述数据库执行任务表中获取所述第一执行任务。
在一种可能的实现方式中，所述装置还包括：
最大值获取子模块，用于从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中之前，基于所述集群资源信息，获取所述并发任务最大值；
任务总量获取子模块，用于获取当前时刻所述服务器集群中所述正在执行的任务数总量。
在一种可能的实现方式中，所述第一子任务执行模块，包括：
数量确定子模块，用于将所述并发任务最大值与所述正在执行的任务数总量的差值作为第一并发子任务数量；
子任务选取子模块，用于根据所述第一并发子任务数量，从所述各个并发子任务中选取所述第一并发子任务；
子任务执行子模块，用于执行所述第一并发子任务。
在一种可能的实现方式中，所述子任务选取子模块，包括：
标识获取单元，用于获取所述各个并发子任务对应的任务标识；
优先级确定单元，用于根据所述任务标识确定所述各个并发子任务的执行优先级；
子任务确定单元，用于根据所述执行优先级，从所述各个并发子任务中确定所述第一并发子任务数量的所述第一并发子任务。
在一种可能的实现方式中，所述装置还包括：
任务删除模块，用于响应于所述第一执行任务的各个所述并发子任务执行完成，将所述第一执行任务从所述数据库执行任务表中删除。
另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任务调度方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任务调度方法。
根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的任务调度方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开实施例所示的方案中，服务器集群按照集群资源信息，通过从第一执行任务进行分片生成的各个并发子任务中，获取第一并发子任务并且执行第一并发子任务，从而实现任务的调度，通过上述方案，可以解决同步执行各个分片子任务需要系统提供大量的系统资源，从而导致系统同步执行的任务量超过系统负载的问题，提高了任务调度的合理性，进而提高了系统的稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种任务调度系统的示意图；
图2是根据一示例性实施例示出的一种任务调度方法的流程图；
图3是根据一示例性实施例示出的一种任务调度方法的流程图；
图4是图3所示实施例涉及的一种任务管理模块执行流程图；
图5是图3所示实施例涉及的一种数据删除任务流程示意图；
图6是图3所示实施例涉及的一种数据文件导出任务流程示意图；
图7是根据一示例性实施例示出的一种任务调度装置的框图；
图8是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
应当理解的是，在本文中提及的“若干个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了方便理解，下面对本公开实施例中涉及的名词进行说明。
1)Quartz任务调度框架
Quartz是由OpenSymphony组织开源的一个任务调度框架，具有强大的调度功能、灵活的应用方式，分布式和集群能力。Quartz通过数据库锁，保证了某项任务在同一时间内只会被一台服务器节点调度执行；同时实现了故障转移和负载均衡功能，解决了单点问题。Quartz主要关注的是任务的定时调度执行，并不会对具体的任务内容做处理，使得任务执行的效率较低。此外，Quartz作为一个任务调度框架，未考虑大量任务同时执行时对系统服务的巨大压力。
图1是根据一示例性实施例示出的一种任务调度系统的示意图。该任务调度系统中包括终端110以及服务器集群120。
其中，服务器集群中包括任务接收模块121、任务发现模块122、任务管理模块123、任务执行模块124、调度器125以及数据库126。
任务接收模块121可以用于接收从终端110发送的任务请求，并且由任务接收模块121将接收到的任务请求发送给数据库126，由数据库126进行存储。任务发现模块可以周期性的扫描数据库126，从数据库126中获取需要启动执行的任务，并且创建任务。任务管理模块123将创建的各个任务进行分片，生成各个子任务，并且创建合适数量的子任务。任务执行模块124执行各个创建的子任务。调度器125可以用于调度系统资源用以执行各个子任务。
终端110可以是向服务器集群发送任务请求的至少一个用户终端，也可以接收从服务器集群120反馈的任务执行结果并且进行显示。
终端110可以通过有线或者无线网络与服务器集群120进行数据传输。
服务器集群120可以是由若干台服务器构成的服务器集群，或者可以包含一个或多个虚拟化平台，或者也可以是一个云计算服务中心，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
可选地，上述的有线或者无线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2是根据一示例性实施例示出的一种任务调度方法的流程图。该任务调度方法可以应用于计算机设备中，按照集群资源信息，通过从第一执行任务进行分片生成的各个并发子任务中，获取第一并发子任务并且执行第一并发子任务，从而实现任务的调度。该计算机设备可以是上述图1所示系统中的服务器集群120。如图2所示，该任务调度方法可以包括以下步骤：
在步骤201中，获取第一执行任务；第一执行任务是当前启动处理的至少一个任务。
在本公开实施例中，服务器从数据库的各个任务中获取第一执行任务。
其中，服务器获取第一执行任务包括在系统中创建各个第一执行任务。
在步骤202中，对第一执行任务进行分片，生成各个并发子任务。
在本公开实施例中，服务器对创建的各个第一执行任务进行分片处理，生成各个第一执行任务对应的并发子任务。
在步骤203中，基于集群资源信息，执行第一并发子任务；集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；第一并发子任务的数量小于等于并发任务最大值；并发任务最大值用于指示服务器集群支持同时执行的最大任务数量。
在本公开实施例中，服务器根据当前时刻服务器集群支持分配的资源总量，创建第一并发子任务，并且执行各个第一并发子任务。
其中，服务器生成各个第一执行任务对应的并发子任务后，根据当前时刻服务器集群支持分配的资源总量，从生成的各个并发子任务中选取创建各个第一并发子任务。
其中，集群资源信息可以包含中央处理器(CPU，Central Processing Unit)、内存、网络情况、集群节点数。
综上所述，本公开实施例中提供的一种任务调度方法。通过上述方案，服务器集群按照集群资源信息，通过从第一执行任务进行分片生成的各个并发子任务中，获取第一并发子任务并且执行第一并发子任务，从而实现任务的调度，通过上述方案，可以解决同步执行各个分片子任务需要系统提供大量的系统资源，从而导致系统同步执行的任务量超过系统负载的问题，提高了任务调度的合理性，进而提高了系统的稳定性。
图3是根据另一示例性实施例示出的一种任务调度方法的流程图。该任务调度方法可以应用于计算机设备中，按照集群资源信息，通过从第一执行任务进行分片生成的各个并发子任务中，获取第一并发子任务并且执行第一并发子任务，从而实现任务的调度。该计算机设备可以是上述图1所示系统中的服务器集群120。如图3所示，该任务调度方法可以包括如下步骤：
在步骤301中，接收各个任务请求，将各个任务请求对应的任务存储在数据库任务表中。
在本公开实施例中，服务器接收由各个用户终端发送的各个任务请求，服务器将各个任务请求存储在数据库任务表中。
其中，服务器集群可以通过任务接收模块接收由用户终端发送的各个任务请求，各个用户终端可以发送至少一个任务请求，服务器集群可以获取至少一个用户终端发送的任务请求。
在一种可能的实现方式中，数据库任务表中存储的任务请求对应的任务标识以及对应的用户标识，并且按照用户标识进行分类存储，具有同一用户标识的任务进行集中存储。
其中，数据库任务表中包含各个任务请求对应的用户标识以及任务标识。
在一种可能的实现方式中，服务器基于集群资源信息，获取并发任务最大值。同时获取当前时刻服务器集群中正在执行的任务数总量。
其中，并发任务最大值可以是由系统设计人员预先进行配置的指定数值，或者，并发任务最大值可以根据当前时刻的集群资源信息进行动态调整。
示例性的，系统设计人员可以根据服务器集群的集群资源信息，通过配置项设置该集群服务器对应的并发任务最大值，在系统运行过程中，该并发任务最大值可以根据当前时刻的集群资源信息进行动态调整。
在一种可能的实现方式中，当数据库任务表成功存储任务请求后，向任务请求对应的用户终端返回提交成功的提示信息。
其中，存储在数据库任务表中的任务具有的状态标识为提交成功状态。任务的状态标识可以包括提交成功状态、正在执行状态以及执行完成状态，其中执行完成状态包含执行成功状态以及执行失败状态。
在步骤302中，从数据库任务表中选取各个用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中。
在本公开实施例中，服务器根据集群资源信息确定当前时刻的指定数量，服务器从数据库任务表中选取任务存储在数据库执行任务表中，其中，各个用户标识下选取的任务数量小于等于指定数量。
其中，指定数量是根据并发任务最大值、正在执行的任务数总量、用户标识的数量以及任务标识的数量确定的；指定数量用于指示选取为第一执行任务的各个用户标识对应的执行任务数量最大值。
在一种可能的实现方式中，并发任务最大值与当前正在执行的任务数总量的差值分别除以待执行任务的用户标识数量以及系统用户标识的总数量，将生成的两个商相加后除以2，计算得到各个用户标识下选取的任务数量小于等于的指定数量。
在另一种可能的实现方式中，系统设计人员基于集群资源信息预先设定负载因子，通过并发任务最大值与当前正在执行的任务数总量的差值分别除以待执行任务的用户标识数量以及系统用户标识的总数量，将生成的两个商相加后除以2，再乘以负载因子，得到各个用户标识下选取的任务数量小于等于的指定数量。
示例性的，通过系统中的任务发现模块可以定期扫描数据库中的数据库任务表，根据集群资源信息，计算得到各个用户标识下选取的任务数量小于等于的指定数量，然后创建各个用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中。
比如，当经过计算得到指定数量为2，并且通过系统中的任务发现模块扫描数据库任务表可以发现用户A具有任务1、任务2以及任务3；用户B具有任务4以及任务5。则系统中的任务发现模块可以创建任务1、任务2以及任务4以及任务5，并且将任务1、任务2以及任务4以及任务5存储在数据库执行任务表中。
在一种可能的实现方式中，数据库执行任务表中存储有各个待执行任务，在待执行任务执行完成后，将数据库执行任务表中执行完成的任务进行删除。
在步骤303中，从数据库执行任务表中获取第一执行任务。
在本公开实施例中，服务器从数据库执行任务表中获取各个任务作为第一执行任务。
示例性的，通过系统中的任务管理模块从数据库执行任务表中获取第一执行任务。
在步骤304中，对第一执行任务进行分片，生成各个并发子任务。
在本公开实施例中，服务器通过对各个第一执行任务进行分片，生成各个第一执行任务对应的各个并发子任务。
在一种可能的实现方式中，根据各个第一执行任务的任务属性，对各个第一执行任务进行分片，生成各个第一执行任务对应的各个并发子任务。
示例性的，通过系统中的任务管理模块对各个第一执行任务进行分片，生成对应的各个并发子任务。
比如，以第一执行任务为删除数据为例，可以根据数据采集设备、数据采集测点以及数据采集时间多个维度将该第一执行任务进行分片，生成各个并发子任务。
在步骤305中，将并发任务最大值与正在执行的任务数总量的差值作为第一并发子任务数量，根据第一并发子任务数量，从各个并发子任务中选取第一并发子任务。
在本公开实施例中，服务器根据集群资源信息确定第一并发子任务数量，根据第一并发子任务数量从各个并发子任务中选取第一并发子任务。
其中，集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；第一并发子任务的数量小于等于并发任务最大值；并发任务最大值用于指示服务器集群支持同时执行的最大任务数量。
在一种可能的实现方式中，服务器根据第一并发子任务数量，从各个并发子任务中随机选择第一并发子任务数量的第一并发子任务。
在另一种可能的实现方式中，服务器获取各个并发子任务对应的任务标识；然后根据任务标识确定各个并发子任务的执行优先级；根据执行优先级，从各个并发子任务中确定第一并发子任务数量的第一并发子任务。
其中，服务器集群可以通过系统中的任务管理模块选取第一并发子任务。任务管理模块当发现当前执行的子任务数小于最大任务数量时，会创建新的子任务进行补充；当发现出现执行失败的子任务时，会重试拉起执行失败的子任务重新执行；当所有的子任务都执行成功时，该任务管理模块会将任务状态标记为执行成功状态，并进行自我销毁。
比如，图4是本公开实施例涉及的一种任务管理模块执行流程图，如图4所示，任务管理模块(Job模块)在接收到各个第一执行任务时，首先判断是否进行任务初始化，其中，任务初始化可以将各个第一执行任务的任务状态由提交成功状态转变为正在执行状态，所以根据各个第一执行任务的任务状态标识，可以确定是否需要进行任务初始化，任务状态标识为提交成功状态的第一执行任务进行任务初始化(S41)。进行任务初始化的过程，首先判断是否需要进行任务拆分，即任务分片(S46)。判断需要进行任务分片的第一执行任务按照分片逻辑进行任务拆分(S47)，然后保存分片后的各个子任务存储在任务执行表中，同时更新任务状态标识为正在执行状态(S48)，若不需要进行分片，则直接将任务保存在任务执行表中，同时更新任务状态标识为正在执行状态。当任务管理模块(Job模块)确定第一执行任务的任务状态标识为正在执行状态，则查询正在通过任务执行模块(Task模块)执行的任务数总量(num)，并且定义新建任务数i为0(S42)，然后判断任务数总量(num)与新建任务数i之和是否大于并发任务最大值(max)，若没有大于并发任务最大值(max)，则查询是否有新创建的需要执行的任务(S44)，若存在新创建的需要执行的任务，则将新建任务数i进行添加，重新执行S43步骤(S45)，若查询没有新建的需要执行的任务，则判断在任务执行模块(Task模块)中正在执行的任务是否清零(S49)，若没有清零则继续执行任务，若已经清零则更新任务状态标识为任务完成状态，并且删除对应的第一执行任务(S410)。
在步骤306中，执行第一并发子任务。
在本公开实施例中，服务器集群执行第一并发子任务。
在一种可能的实现方式中，响应于第一执行任务的各个并发子任务执行完成，将第一执行任务从数据库执行任务表中删除。
其中，服务器集群通过任务执行模块对各个第一并发子任务进行执行，当子任务执行失败时，任务执行模块可以将该子任务的任务状态标记为执行失败状态，并反馈给任务管理模块。
比如，以任务为“数据删除”为例，在IOT(Internet of Things，物联网)场景中，各个终端设备会将采集的数据上传到云端服务器上进行存储，采集的数据通常自带采集设备和测点的标签，并且以时间维度连续的采集数据。采集数据可以是风机场站、光伏电站等进行监控采集的数据，当用户需要批量删除某个集合范围内的整块时间段的数据，由于数据量较大，如果直接删除数据，会对底层数据存储服务带来较大压力。图5是本公开实施例涉及的一种数据删除任务流程示意图。如图5所示，用户通过客户端提交需要删除指定场站中指定设备在过去指定月份的全部数据，该任务中涉及100个采集设备，并且每个设备具有20个测点，由于测点通常是秒级数据，可以得到需要进行删除的数据量巨大。通过本公开实施例的方案，用户通过客户端提交数据删除任务到任务接收模块(S51)，任务接收模块将任务记录保存在数据库中(S52)，任务发现模块通过定期扫描数据库中的任务记录表，查询满足调度条件的任务(S53)，任务发现模块将创建的任务提交给调度器(S54)，调度器调度资源开始执行该删除数据任务(S55)，任务管理模块对删除数据的任务进行任务拆分，向调度器提交允许的最大并发量的执行任务，并且监控各个执行的任务是否完成，其中，可以以设备、测点及时间的维度进行任务分片，将任务拆分成6000个单设备、单测点的子任务，其中每个子任务的时间范围是10天，然后通过任务管理模块在同一时刻将至多10个分片的任务在调度集群中执行(S56)，调度器集群调度多个执行任务并发执行删除数据的操作(S57)，任务执行模块将执行结果反馈给任务管理模块(S58)。
以任务为“数据导出”为例，在IOT场景中，用户需要批量导出指定集合范围内的整块时间段的数据用于离线分析，需要导出的数据可以是风机场站、光伏电站等进行监控采集的数据，由于数据量较大，如果直接拉取数据，会对底层数据存储服务带来较大压力。图6是本公开实施例涉及的一种数据文件导出任务流程示意图。如图6所示，通过本公开实施例的方案，用户通过客户端提交数据导出任务到任务接收模块(S61)，任务接收模块将任务记录保存在数据库中(S62)，任务发现模块通过定期扫描数据库中的任务记录表，查询满足调度条件的任务(S63)，任务发现模块将创建的任务提交给调度器(S64)，调度器调度资源开始执行该数据导出任务(S65)，任务管理模块对数据导出的任务进行任务拆分，向调度器提交允许的最大并发量的执行任务，并且监控各个执行的任务是否完成，其中，可以以设备、测点及时间的维度进行任务分片，将任务拆分成6000个单设备、单测点的子任务，其中每个子任务的时间范围是10天，然后通过任务管理模块在同一时刻将至多10个分片的任务在调度集群中执行(S66)，调度器集群调度多个执行任务并发执行数据下载的操作(S67)，任务执行模块将下载的数据保存成数据文件存储在网络文件系统(Network File System，NFS)中(S68)，任务执行模块将执行结果反馈给任务管理模块(S69)。调度器定时调度文件管理任务(S610)，文件管理模块从网络文件系统中打包数据文件，并且清理过期文件(S611)，用户通过客户端在网络文件系统中下载数据文件(S612)。通过上述任务调度流程既保证了任务合理的执行效率，又避免了执行任务量过大导致的对底层的过大压力。
综上所述，本公开实施例中提供的一种任务调度方法。通过上述方案，服务器集群按照集群资源信息，通过从第一执行任务进行分片生成的各个并发子任务中，获取第一并发子任务并且执行第一并发子任务，从而实现任务的调度，通过上述方案，可以解决同步执行各个分片子任务需要系统提供大量的系统资源，从而导致系统同步执行的任务量超过系统负载的问题，提高了任务调度的合理性，进而提高了系统的稳定性。
图7是根据一示例性实施例示出的一种任务调度装置的框图，如图7所示，该任务调度装置可以通过硬件或者软硬结合的方式实现为计算机设备中的全部或者部分，以执行图2或图3对应实施例所示的方法的全部或部分步骤。该任务调度装置可以包括：
第一任务获取模块710，用于获取第一执行任务；所述第一执行任务是当前启动处理的至少一个任务；
子任务生成模块720，用于对所述第一执行任务进行分片，生成各个并发子任务；
第一子任务执行模块730，用于基于集群资源信息，执行第一并发子任务；所述集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；所述第一并发子任务的数量小于等于并发任务最大值；所述并发任务最大值用于指示所述服务器集群支持同时执行的最大任务数量。
在一种可能的实现方式中，所述装置还包括：
请求接收模块，用于接收各个任务请求，将各个所述任务请求对应的所述任务存储在数据库任务表中；所述数据库任务表中包含各个所述任务请求对应的用户标识以及任务标识。
在一种可能的实现方式中，所述第一任务获取模块710，包括：
任务选取子模块，用于从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中；所述指定数量是根据所述并发任务最大值、正在执行的任务数总量、所述用户标识的数量以及所述任务标识的数量确定的，所述指定数量用于指示选取为所述第一执行任务的各个用户标识对应的执行任务数量最大值；
第一任务获取子模块，用于从所述数据库执行任务表中获取所述第一执行任务。
在一种可能的实现方式中，所述装置还包括：
最大值获取子模块，用于从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中之前，基于所述集群资源信息，获取所述并发任务最大值；
任务总量获取子模块，用于获取当前时刻所述服务器集群中所述正在执行的任务数总量。
在一种可能的实现方式中，所述第一子任务执行模块730，包括：
数量确定子模块，用于将所述并发任务最大值与所述正在执行的任务数总量的差值作为第一并发子任务数量；
子任务选取子模块，用于根据所述第一并发子任务数量，从所述各个并发子任务中选取所述第一并发子任务；
子任务执行子模块，用于执行所述第一并发子任务。
在一种可能的实现方式中，所述子任务选取子模块，包括：
标识获取单元，用于获取所述各个并发子任务对应的任务标识；
优先级确定单元，用于根据所述任务标识确定所述各个并发子任务的执行优先级；
子任务确定单元，用于根据所述执行优先级，从所述各个并发子任务中确定所述第一并发子任务数量的所述第一并发子任务。
在一种可能的实现方式中，所述装置还包括：
任务删除模块，用于响应于所述第一执行任务的各个所述并发子任务执行完成，将所述第一执行任务从所述数据库执行任务表中删除。
综上所述，本公开实施例中提供的一种任务调度方法。通过上述方案，服务器集群按照集群资源信息，通过从第一执行任务进行分片生成的各个并发子任务中，获取第一并发子任务并且执行第一并发子任务，从而实现任务的调度，通过上述方案，可以解决同步执行各个分片子任务需要系统提供大量的系统资源，从而导致系统同步执行的任务量超过系统负载的问题，提高了任务调度的合理性，进而提高了系统的稳定性。
需要说明的一点是，上述实施例提供的装置在实现其功能时，仅以上述各个功能模块的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(Random Access Memory，RAM)802和只读存储器(Read-Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。
所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机设备可读介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机设备可读介质(未示出)。
不失一般性，所述计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable ReadOnly Memory，EPROM)、带电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)，CD-ROM、数字视频光盘(Digital Video Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机设备存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
根据本公开的各种实施例，所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机设备系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器801通过执行该一个或一个以上程序来实现图2或图3所示的方法的全部或者部分步骤。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本公开实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机设备可读介质中或者作为计算机设备可读介质上的一个或多个指令或代码进行传输。计算机设备可读介质包括计算机设备存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机设备程序的任何介质。存储介质可以是通用或专用计算机设备能够存取的任何可用介质。
本公开实施例还提供了一种计算机设备存储介质，用于储存为上述测试装置所用的计算机设备软件指令，其包含用于执行上述任务调度方法所设计的程序。
根据本公开的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的任务调度方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种任务调度方法，其特征在于，所述方法包括：
获取第一执行任务；所述第一执行任务是当前启动处理的至少一个任务；
对所述第一执行任务进行分片，生成各个并发子任务；
基于集群资源信息，执行第一并发子任务；所述集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；所述第一并发子任务的数量小于等于并发任务最大值；所述并发任务最大值用于指示所述服务器集群支持同时执行的最大任务数量。
2.根据权利要求1所述的方法，其特征在于，所述获取第一执行任务之前，还包括：
接收各个任务请求，将各个所述任务请求对应的所述任务存储在数据库任务表中；所述数据库任务表中包含各个所述任务请求对应的用户标识以及任务标识。
3.根据权利要求2所述的方法，其特征在于，所述获取第一执行任务，包括：
从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中；所述指定数量是根据所述并发任务最大值、正在执行的任务数总量、所述用户标识的数量以及所述任务标识的数量确定的；所述指定数量用于指示选取为所述第一执行任务的各个用户标识对应的执行任务数量最大值；
从所述数据库执行任务表中获取所述第一执行任务。
4.根据权利要求3所述的方法，其特征在于，所述从所述数据库任务表中选取各个所述用户标识对应的小于等于指定数量的任务，存储在数据库执行任务表中之前，还包括：
基于所述集群资源信息，获取所述并发任务最大值；
获取当前时刻所述服务器集群中所述正在执行的任务数总量。
5.根据权利要求1所述的方法，其特征在于，所述基于集群资源信息，执行第一并发子任务，包括：
将所述并发任务最大值与所述正在执行的任务数总量的差值作为第一并发子任务数量；
根据所述第一并发子任务数量，从所述各个并发子任务中选取所述第一并发子任务；
执行所述第一并发子任务。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一并发子任务的数量，从所述各个并发子任务中选取所述第一并发子任务，包括：
获取所述各个并发子任务对应的任务标识；
根据所述任务标识确定所述各个并发子任务的执行优先级；
根据所述执行优先级，从所述各个并发子任务中确定所述第一并发子任务数量的所述第一并发子任务。
7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
响应于所述第一执行任务的各个所述并发子任务执行完成，将所述第一执行任务从所述数据库执行任务表中删除。
8.一种任务调度装置，其特征在于，所述装置包括：
第一任务获取模块，用于获取第一执行任务；所述第一执行任务是当前启动处理的至少一个任务；
子任务生成模块，用于对所述第一执行任务进行分片，生成各个并发子任务；
第一子任务执行模块，用于基于集群资源信息，执行第一并发子任务；所述集群资源信息用于指示当前时刻服务器集群支持分配的资源总量；所述第一并发子任务的数量小于等于并发任务最大值；所述并发任务最大值用于指示所述服务器集群支持同时执行的最大任务数量。
9.一种计算机设备，其特征在于，计算机设备包含处理器和存储器，所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至权利要求7中任一项所述的任务调度方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求7中任一项所述的任务调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406606.5A CN113220427B (zh) | 2021-04-15 | 2021-04-15 | 任务调度方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406606.5A CN113220427B (zh) | 2021-04-15 | 2021-04-15 | 任务调度方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113220427A true CN113220427A (zh) | 2021-08-06 |
| CN113220427B CN113220427B (zh) | 2024-07-19 |
Family
ID=77087463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110406606.5A Active CN113220427B (zh) | 2021-04-15 | 2021-04-15 | 任务调度方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220427B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704340A (zh) * | 2021-08-30 | 2021-11-26 | 远景智能国际私人投资有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN114610575A (zh) * | 2022-03-14 | 2022-06-10 | 北京百度网讯科技有限公司 | 应用于计算分支的更新峰值的方法、装置、设备和介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101359295A (zh) * | 2007-08-01 | 2009-02-04 | 阿里巴巴集团控股有限公司 | 一种批量任务调度分配方法及系统 |
| US20100275212A1 (en) * | 2009-04-23 | 2010-10-28 | Microsoft Corporation | Concurrent data processing in a distributed system |
| US20120089967A1 (en) * | 2010-10-08 | 2012-04-12 | Microsoft Corporation | Dynamic data and compute resource elasticity |
| CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
| CN106095585A (zh) * | 2016-06-22 | 2016-11-09 | 中国建设银行股份有限公司 | 任务请求处理方法、装置和企业信息系统 |
| US20190205173A1 (en) * | 2018-01-02 | 2019-07-04 | Jpmorgan Chase Bank, N.A. | Systems and methods for resource management for multi-tenant applications in a hadoop cluster |
| CN110413411A (zh) * | 2019-07-18 | 2019-11-05 | 阿里巴巴集团控股有限公司 | 资源数据处理系统及数据处理方法 |
| CN112559159A (zh) * | 2021-01-05 | 2021-03-26 | 广州华资软件技术有限公司 | 一种基于分布式部署的任务调度方法 |
-
2021
- 2021-04-15 CN CN202110406606.5A patent/CN113220427B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101359295A (zh) * | 2007-08-01 | 2009-02-04 | 阿里巴巴集团控股有限公司 | 一种批量任务调度分配方法及系统 |
| US20100275212A1 (en) * | 2009-04-23 | 2010-10-28 | Microsoft Corporation | Concurrent data processing in a distributed system |
| US20120089967A1 (en) * | 2010-10-08 | 2012-04-12 | Microsoft Corporation | Dynamic data and compute resource elasticity |
| CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
| CN106095585A (zh) * | 2016-06-22 | 2016-11-09 | 中国建设银行股份有限公司 | 任务请求处理方法、装置和企业信息系统 |
| US20190205173A1 (en) * | 2018-01-02 | 2019-07-04 | Jpmorgan Chase Bank, N.A. | Systems and methods for resource management for multi-tenant applications in a hadoop cluster |
| CN110413411A (zh) * | 2019-07-18 | 2019-11-05 | 阿里巴巴集团控股有限公司 | 资源数据处理系统及数据处理方法 |
| CN112559159A (zh) * | 2021-01-05 | 2021-03-26 | 广州华资软件技术有限公司 | 一种基于分布式部署的任务调度方法 |
Non-Patent Citations (3)
| Title |
|---|
| YIQIAN XIA 等: "Daphne: A Flexible and Hybrid Scheduling Framework in Multi-Tenant Clusters", 《IEEE TRANSACTIONS ON NETWORK AND SERVICE MANAGEMENT》, vol. 15, no. 1, pages 330 * |
| 伍娟妮: "动态负载均衡集群系统的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 137 - 24 * |
| 鲍雷: "Hadoop平台的作业调度算法研究与改进", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 77 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704340A (zh) * | 2021-08-30 | 2021-11-26 | 远景智能国际私人投资有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN113704340B (zh) * | 2021-08-30 | 2023-07-21 | 远景智能国际私人投资有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN114610575A (zh) * | 2022-03-14 | 2022-06-10 | 北京百度网讯科技有限公司 | 应用于计算分支的更新峰值的方法、装置、设备和介质 |
| CN114610575B (zh) * | 2022-03-14 | 2024-05-14 | 北京百度网讯科技有限公司 | 应用于计算分支的更新峰值的方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113220427B (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949253B2 (en) | Data forwarder for distributed data acquisition, indexing and search system | |
| US9489237B1 (en) | Dynamic tree determination for data processing | |
| US6799314B2 (en) | Work flow management method and work flow management system of controlling a work flow | |
| CN111008521B (zh) | 生成宽表的方法、装置及计算机存储介质 | |
| CN104052803A (zh) | 一种去中心化的分布式渲染方法及渲染系统 | |
| CN113220427B (zh) | 任务调度方法、装置、计算机设备及存储介质 | |
| CN111324606B (zh) | 数据分片的方法及装置 | |
| CN110083627B (zh) | 数据处理方法、系统、计算机设备和存储介质 | |
| US11488082B2 (en) | Monitoring and verification system for end-to-end distribution of messages | |
| US9934307B2 (en) | Apparatus and method for managing job flows in an information processing system | |
| CN117389830A (zh) | 集群日志采集方法、装置、计算机设备及存储介质 | |
| CN112181762A (zh) | 软件项目应用基础环境部署与三遥的可视化处理方法 | |
| CN111435329A (zh) | 一种自动化测试方法和装置 | |
| CN112256760A (zh) | 一种数据预测方法、装置、计算机设备及存储介质 | |
| US10740085B2 (en) | Webserver interface for deployment management tool | |
| CN111736950A (zh) | 一种虚拟机的加速器资源添加方法及相关装置 | |
| CN111324310A (zh) | 一种数据的读取方法、装置及计算机系统 | |
| US7120663B2 (en) | Method and apparatus for updating XML data | |
| CN112667393B (zh) | 分布式任务计算调度框架搭建的方法、装置及计算机设备 | |
| CN111431951A (zh) | 一种数据处理方法、节点设备、系统及存储介质 | |
| CN114969058A (zh) | 一种数据更新方法、装置、设备、存储介质 | |
| CN114047939A (zh) | 一种数据处理方法及中间件 | |
| CN112187916A (zh) | 一种跨系统的数据同步方法与装置 | |
| CN112860292A (zh) | 一种基于应用的配置管理方法及装置 | |
| CN107566212B (zh) | 一种资源监控管理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |