CN114745382B - 任务分片方法、任务分片装置和业务系统 - Google Patents
任务分片方法、任务分片装置和业务系统 Download PDFInfo
- Publication number
- CN114745382B CN114745382B CN202210361924.9A CN202210361924A CN114745382B CN 114745382 B CN114745382 B CN 114745382B CN 202210361924 A CN202210361924 A CN 202210361924A CN 114745382 B CN114745382 B CN 114745382B
- Authority
- CN
- China
- Prior art keywords
- information
- routing rule
- task
- execution machine
- slicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000012634 fragment Substances 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012546 transfer Methods 0.000 claims description 24
- 230000007704 transition Effects 0.000 claims description 19
- 238000013467 fragmentation Methods 0.000 claims description 11
- 238000006062 fragmentation reaction Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000005192 partition Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了一种任务分片方法、任务分片装置和业务系统，该方法包括：获取待处理任务的任务信息，任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，路由规则信息为选择用于处理待处理任务的执行机的策略信息；在执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；根据分片类型信息、路由规则信息和分片总数信息确定对应的待用执行机地址信息，得到目标执行机的地址信息，目标执行机与待处理任务的分片任务一一对应；将分片任务发送至对应的目标执行机进行处理。该方法解决了现有技术中任务分配方法的路由策略不灵活的问题。
Description
技术领域
本申请涉及软件开发技术领域，具体而言，涉及一种任务分片方法、任务分片装置、计算机可读存储介质、处理器和业务系统。
背景技术
随着互联网的飞速发展，无论是互联网应用或者企业级应用，都充斥着大量的批处理任务。我们常常需要一些任务调度服务总控帮助我们解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此的背景下，很多原先的任务调度平台的路由分片方式已经不能很好的满足复杂且多变的业务场景的需求。
现有技术中，XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。它的核心路由策略是执行器(亦叫：执行机)集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移、忙碌转移等；它的核心分片主要采用分片广播任务和动态分片。其中，分片广播任务是在执行器集群部署时，任务路由策略选择“分片广播”情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；而动态分片是分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理。
现有技术的缺点：
1、当在复杂且多变的业务场景的情况下，现有的分布式任务调度平台中的路由策略无法很好的适配；
2、当在实际生产环境中执行器的数量或者有很大的变动等情况下，现有的执行器组件的配置方式不是很灵活和方便。
3、目前采用更多的分片模式是XXL-JOB中的分片广播任务和动态分片模式，这种模式无法很好的满足特殊业务场景下的任务分片。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种任务分片方法、任务分片装置、计算机可读存储介质、处理器和业务系统，以解决现有技术中任务分配方法的路由策略不灵活的问题。
根据本发明实施例的一个方面，提供了一种任务分片方法，包括：获取待处理任务的任务信息，所述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，所述路由规则信息为选择用于处理所述待处理任务的执行机的策略信息；在所述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；根据所述分片类型信息、所述路由规则信息和所述分片总数信息确定对应的所述待用执行机地址信息，得到目标执行机的地址信息，所述目标执行机与所述待处理任务的分片任务一一对应；将所述分片任务发送至对应的所述目标执行机进行处理。
可选地，根据所述分片类型信息、所述路由规则信息和所述分片总数信息确定对应的所述待用执行机地址信息，得到目标执行机的地址信息，包括：在所述分片类型信息为不分片的情况下，根据所述路由规则信息确定所述待处理任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息；在所述分片类型信息为分片的情况下，根据所述路由规则信息确定所述分片任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息；在所述分片类型信息为广播的情况下，确定所有的所述待用执行机地址信息均为所述目标执行机的地址信息。
可选地，在所述分片类型信息为分片的情况下，根据所述路由规则信息确定各所述分片任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息，包括：在所述分片总数信息为1的情况下，根据所述路由规则信息确定一个所述执行机地址信息对应的所述目标执行机的地址信息；在所述分片总数信息大于1的情况下，根据所述路由规则信息确定多个所述待用执行机地址信息，得到所述目标执行机的地址信息，所述目标执行机与所述待处理任务的分片任务一一对应。
可选地，在所述分片类型信息为分片的情况下，根据所述路由规则信息确定各所述分片任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息之前，所述方法还包括：在所述路由规则信息为空的情况下，确定一个预备路由规则信息为所述路由规则信息，所述预备路由规则信息包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移。
可选地，在所述路由规则信息为空的情况下，确定一个预备路由规则信息为所述路由规则信息，包括：在所述路由规则信息为空的情况下，确定所述轮询为所述路由规则信息。
可选地，将所述分片任务发送至对应的所述目标执行机进行处理，包括根据所述分片总数信息和所述目标执行机的数量计算分片区间，所述分片区间为一个所述目标执行机对应的所述分片任务的数量；根据所述分片区间确定分片信息，所述分片信息为所述目标执行机与所述分片任务的对应关系。
可选地，所述预备路由规则信息包括任一路由规则和多级动态均衡路由策略，所述任一路由规则包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移，所述多级动态均衡路由策略包括一级策略和二级策略，所述一级策略包括第一预定路由规则和失效重试转移，所述二级策略包括第二预定路由规则，所述第一预定路由规则为多个所述任一路由规则的一个，所述第二预定路由规则为多个所述任一路由规则的一个，所述第一预定路由规则、所述第二预定路由规则和所述失效重试转移为不同的所述任一路由规则，所述失效重试转移用于在所述第一预定路由规则失效的情况下，确定所述第二预定路由规则为所述路由规则信息。
根据本发明实施例的另一方面，还提供了一种任务分片装置，包括：第一获取单元，用于获取待处理任务的任务信息，所述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，所述路由规则信息为选择用于处理所述待处理任务的执行机的策略信息；第二获取单元，用于在所述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；确定单元，用于根据所述分片类型信息、所述路由规则信息和所述分片总数信息确定对应的所述待用执行机地址信息，得到目标执行机的地址信息，所述目标执行机与所述待处理任务的分片任务一一对应；发送单元，用于将所述分片任务发送至对应的所述目标执行机进行处理。
根据本发明实施例的再一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的方法。
根据本发明实施例的又一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。
根据本发明实施例的一方面，还提供了一种业务系统，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。
在本发明实施例中，上述任务分片方法中，首先，获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；然后，在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；之后，根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；最后，将上述分片任务发送至对应的上述目标执行机进行处理。该方法获取执行机集群的执行机地址信息，并根据路由规则信息灵活选择执行机，在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置，解决了现有技术中任务分配方法的路由策略不灵活的问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的一种实施例的任务分片方法的流程图；
图2示出了根据本申请的另一种具体实施例的任务分片方法的流程图；
图3示出了根据本申请的再一种具体实施例的任务分片方法的流程图；
图4示出了根据本申请的又一种具体实施例的任务分片方法的流程图；
图5示出了根据本申请的一种具体实施例的任务分片方法的流程图；
图6示出了根据本申请的一种实施例的任务分片装置的示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的，现有技术中的任务分配方法的路由策略不灵活，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种任务分片方法、任务分片装置、计算机可读存储介质、处理器和业务系统。
根据本申请的实施例，提供了一种任务分片方法。
图1是根据本申请实施例的任务分片方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101，获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；
步骤S102，在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；
步骤S103，根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；
步骤S104，将上述分片任务发送至对应的上述目标执行机进行处理。
上述任务分片方法中，首先，获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；然后，在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；之后，根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；最后，将上述分片任务发送至对应的上述目标执行机进行处理。该方法获取执行机集群的执行机地址信息，并根据路由规则信息灵活选择执行机，在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置，解决了现有技术中任务分配方法的路由策略不灵活的问题。
需要说明的是，如图2所示，本申请需要用户在客户端浏览器界面上输入待处理任务的任务信息，其中包括：执行机名、执行机地址、路由规则、分片总数、分片类型等信息。调度服务总控根据执行机地址信息选择是否从注册中心获取执行的地址信息(执行机地址信息若为空，则从注册中心中获取执行机的地址信息)，之后调度服务总控根据待处理任务的任务信息中的路由规则信息在Rimal路由中选择对应路由规则，最后调度服务总控根据所选择的路由规则和任务的均衡分片算法计算出路由分片信息。
还需要说明的是Rimal多级动态均衡路由策略能很好的适配复杂且多变的业务场景下的路由问题，以达到通用的目的；调度服务总控通过从注册中心获取执行机的IP地址或者在前端页面手动输入特定执行机的IP地址，能很好的解决在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置；多级动态均衡分片模式能很好的适配特殊业务场景下的任务分片。在进行大数据量业务操作时可显著提升任务处理能力和速度；本申请的任务分片方法已在JAVA开发平台中的批量调度服务总控中使用，目前该系统已在行内好几个项目组使用，很好的解决了各项目组的路由分片问题，显著的提升了任务处理能力和速度。
还需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中，根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，包括：在上述分片类型信息为不分片的情况下，根据上述路由规则信息确定上述待处理任务对应的上述待用执行机地址信息，得到上述目标执行机的地址信息；在上述分片类型信息为分片的情况下，根据上述路由规则信息确定上述分片任务对应的上述待用执行机地址信息，得到上述目标执行机的地址信息；在上述分片类型信息为广播的情况下，确定所有的上述待用执行机地址信息均为上述目标执行机的地址信息。该实施例中，在分片类型信息为不分片时，根据路由规则信息从获取的执行机地址信息中选择对应的目标执行机的地址信息并设置待处理任务的分片信息为空后，返回分片信息；在分片类型信息为分片时，根据任务级路由规则信息从获取的执行机地址信息中选择对应的目标执行机的地址信息并设置待处理任务的分片信息后，返回分片信息，在上述分片类型信息为广播时，调度服务总从待处理任务的任务信息或者注册中心获取每个执行机地址信息并设置待处理任务的分片信息为空后，返回分片信息。
本申请的一种实施例中，在上述分片类型信息为分片的情况下，根据上述路由规则信息确定各上述分片任务对应的上述待用执行机地址信息，得到上述目标执行机的地址信息，包括：在上述分片总数信息为1的情况下，根据上述路由规则信息确定一个上述执行机地址信息对应的上述目标执行机的地址信息；在上述分片总数信息大于1的情况下，根据上述路由规则信息确定多个上述待用执行机地址信息，得到上述目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应。该实施例中，在分片类型信息为分片并且分片总数信息为1时，根据任务级路由规则信息从获取的执行机地址信息中选择一个目标执行机的地址信息并设置待处理任务的分片信息后，返回分片信息，在分片类型信息为分片并且分片总数信息大于1时，根据任务级路由规则信息从获取的执行机地址信息中选择对应的目标执行机的地址信息并设置待处理任务的分片信息后，返回分片信息。
本申请的一种实施例中，在上述分片类型信息为分片的情况下，根据上述路由规则信息确定各上述分片任务对应的上述待用执行机地址信息，得到上述目标执行机的地址信息之前，上述方法还包括：在上述路由规则信息为空的情况下，确定一个预备路由规则信息为上述路由规则信息，上述预备路由规则信息包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移。该实施例中，如图3所示，预备路由规则信息即Rimal路由规则不仅包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移路由规则，具体地，预备路由规则信息即Rimal路由规则包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移、并发请求最少、可用性过滤、区域优先、加权响应时间、依据IP分配、最少连接路由规则。
本申请的一种实施例中，在上述路由规则信息为空的情况下，确定一个预备路由规则信息为上述路由规则信息，包括：在上述路由规则信息为空的情况下，确定上述轮询为上述路由规则信息。该实施例中，当获取待处理任务的路由规则信息为空时，调度服务总控会默认将其路由规则信息设置为轮询。
本申请的一种实施例中，将上述分片任务发送至对应的上述目标执行机进行处理，包括根据上述分片总数信息和上述目标执行机的数量计算分片区间，上述分片区间为一个上述目标执行机对应的上述分片任务的数量；根据上述分片区间确定分片信息，上述分片信息为上述目标执行机与上述分片任务的对应关系。该实施例中，如图4所示，根据调度服务总控获取的分片总数信息和执行机的数量，先计算出分片范围，之后根据分片总数信息和目标执行机的数量的关系计算出分片间隔，最后根据分片范围和分片间隔算出待处理任务分片后的各个分片区间，即分片信息。
本申请的一种实施例中，上述预备路由规则信息包括任一路由规则和多级动态均衡路由策略，上述任一路由规则包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移，上述多级动态均衡路由策略包括一级策略和二级策略，上述一级策略包括第一预定路由规则和失效重试转移，上述二级策略包括第二预定路由规则，上述第一预定路由规则为多个上述任一路由规则的一个，上述第二预定路由规则为多个上述任一路由规则的一个，上述第一预定路由规则、上述第二预定路由规则和上述失效重试转移为不同的上述任一路由规则，上述失效重试转移用于在上述第一预定路由规则失效的情况下，确定上述第二预定路由规则为上述路由规则信息。该实施例中，如图5所示，多级动态均衡路由策略由一级策略即第一级路由和二级策略即第二级路由组合而成，其中，可选地，一级策略即第一级路由由任一路由规则和失效重试转移规则(固定)组合而成，第二级策略即第二级路由由任一Rimal路由规则构成，并且这三个路由规则必须互异，当一级策略失效后，通过一级策略失效重试转移规则转移至二级策略，若未失效则无需采用失效重试转移规则。失效重试转移策略固定不变，多级动态均衡路由策略能够通过很好的适配复杂且多变的业务场景下的路由问题来达到通用的目的。
本申请实施例还提供了一种任务分片装置，需要说明的是，本申请实施例的任务分片装置可以用于执行本申请实施例所提供的用于任务分片方法。以下对本申请实施例提供的任务分片装置进行介绍。
图6是根据本申请实施例的任务分片装置的示意图。如图6所示，该装置包括：
第一获取单元10，用于获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；
第二获取单元20，用于在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；
确定单元30，用于根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；
发送单元40，用于将上述分片任务发送至对应的上述目标执行机进行处理。
上述任务分片装置中，第一获取单元获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；第二获取单元在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；确定单元根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；发送单元将上述分片任务发送至对应的上述目标执行机进行处理。该装置获取执行机集群的执行机地址信息，并根据路由规则信息灵活选择执行机，在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置，解决了现有技术中任务分配方法的路由策略不灵活的问题。
需要说明的是，如图2所示，本申请需要用户在客户端浏览器界面上输入待处理任务的任务信息，其中包括：执行机名、执行机地址、路由规则、分片总数、分片类型等信息。调度服务总控根据执行机地址信息选择是否从注册中心获取执行的地址信息(执行机地址信息若为空，则从注册中心中获取执行机的地址信息)，之后调度服务总控根据待处理任务的任务信息中的路由规则信息在Rimal路由中选择对应路由规则，最后调度服务总控根据所选择的路由规则和任务的均衡分片算法计算出路由分片信息。
还需要说明的是，Rimal多级动态均衡路由策略能很好的适配复杂且多变的业务场景下的路由问题，以达到通用的目的；调度服务总控通过从注册中心获取执行机的IP地址或者在前端页面手动输入特定执行机的IP地址，能很好的解决在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置；多级动态均衡分片模式能很好的适配特殊业务场景下的任务分片。在进行大数据量业务操作时可显著提升任务处理能力和速度；本申请的任务分片方法已在JAVA开发平台中的批量调度服务总控中使用，目前该系统已在行内好几个项目组使用，很好的解决了各项目组的路由分片问题，显著的提升了任务处理能力和速度。
本申请的一种实施例中，上述确定单元包括第一确定模块、第二确定模块和第三确定模块，上述第一确定模块用于在上述分片类型信息为不分片的情况下，根据上述路由规则信息确定上述待处理任务对应的上述待用执行机地址信息，得到上述目标执行机的地址信息；上述第二确定模块用于在上述分片类型信息为分片的情况下，根据上述路由规则信息确定上述分片任务对应的上述待用执行机地址信息，得到上述目标执行机的地址信息；上述第三确定模块用于在上述分片类型信息为广播的情况下，确定所有的上述待用执行机地址信息均为上述目标执行机的地址信息。该实施例中，在分片类型信息为不分片时，根据路由规则信息从获取的执行机地址信息中选择对应的目标执行机的地址信息并设置待处理任务的分片信息为空后，返回分片信息；在分片类型信息为分片时，根据任务级路由规则信息从获取的执行机地址信息中选择对应的目标执行机的地址信息并设置待处理任务的分片信息后，返回分片信息，在上述分片类型信息为广播时，调度服务总从待处理任务的任务信息或者注册中心获取每个执行机地址信息并设置待处理任务的分片信息为空后，返回分片信息。
本申请的一种实施例中，上述第三确定模块包括第四确定模块和第五确定模块，上述第四确定模块用于在上述分片类型信息为分片的情况下，在上述分片总数信息为1的情况下，根据上述路由规则信息确定一个上述执行机地址信息对应的上述目标执行机的地址信息；上述第五确定模块用于在上述分片总数信息大于1的情况下，根据上述路由规则信息确定多个上述待用执行机地址信息，得到上述目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应。该实施例中，在分片类型信息为分片并且分片总数信息为1时，根据任务级路由规则信息从获取的执行机地址信息中选择一个目标执行机的地址信息并设置待处理任务的分片信息后，返回分片信息，在分片类型信息为分片并且分片总数信息大于1时，根据任务级路由规则信息从获取的执行机地址信息中选择对应的目标执行机的地址信息并设置待处理任务的分片信息后，返回分片信息。
本申请的一种实施例中，上述任务分片装置还包括路由规则确定单元，路由规则确定单元用于在上述分片类型信息为分片的情况下，根据上述路由规则信息确定各上述分片任务对应的上述待用执行机地址信息，得到上述目标执行机的地址信息之前，在上述路由规则信息为空的情况下，确定一个预备路由规则信息为上述路由规则信息，上述预备路由规则信息包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移。该实施例中，如图3所示，预备路由规则信息即Rimal路由规则不仅包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移路由规则，具体地，预备路由规则信息即Rimal路由规则包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移、并发请求最少、可用性过滤、区域优先、加权响应时间、依据IP分配、最少连接路由规则。
本申请的一种实施例中，上述路由规则确定单元包括路由规则确定模块，路由规则确定模块用于在上述路由规则信息为空的情况下，确定上述轮询为上述路由规则信息。该实施例中，当获取待处理任务的路由规则信息为空时，调度服务总控会默认将其路由规则信息设置为轮询。
本申请的一种实施例中，上述发送单元包括计算模块和确定模块，上述计算模块用于根据上述分片总数信息和上述目标执行机的数量计算分片区间，上述分片区间为一个上述目标执行机对应的上述分片任务的数量；上述确定模块用于根据上述分片区间确定分片信息，上述分片信息为上述目标执行机与上述分片任务的对应关系。该实施例中，如图4所示，根据调度服务总控获取的分片总数信息和执行机的数量，先计算出分片范围，之后根据分片总数信息和目标执行机的数量的关系计算出分片间隔，最后根据分片范围和分片间隔算出待处理任务分片后的各个分片区间，即分片信息。
本申请的一种实施例中，上述预备路由规则信息包括任一路由规则和多级动态均衡路由策略，上述任一路由规则包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移，上述多级动态均衡路由策略包括一级策略和二级策略，上述一级策略包括第一预定路由规则和失效重试转移，上述二级策略包括第二预定路由规则，上述第一预定路由规则为多个上述任一路由规则的一个，上述第二预定路由规则为多个上述任一路由规则的一个，上述第一预定路由规则、上述第二预定路由规则和上述失效重试转移为不同的上述任一路由规则，上述失效重试转移用于在上述第一预定路由规则失效的情况下，确定上述第二预定路由规则为上述路由规则信息。该实施例中，如图5所示，多级动态均衡路由策略由一级策略即第一级路由和二级策略即第二级路由组合而成，其中，可选地，一级策略即第一级路由由任一路由规则和失效重试转移规则(固定)组合而成，第二级策略即第二级路由由任一Rimal路由规则构成，并且这三个路由规则必须互异，当一级策略失效后，通过一级策略失效重试转移规则转移至二级策略，若未失效则无需采用失效重试转移规则。失效重试转移策略固定不变，多级动态均衡路由策略能够通过很好的适配复杂且多变的业务场景下的路由问题来达到通用的目的。
上述任务分片装置包括处理器和存储器，上述第一获取单元、第二获取单元、确定单元、发送单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中任务分配方法的路由策略不灵活的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述任务分片方法。
本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行所述任务分片方法。
本发明实施例提供了一种业务系统，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的方法，处理器执行程序时实现至少以下步骤：
步骤S101，获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；
步骤S102，在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；
步骤S103，根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；
步骤S104，将上述分片任务发送至对应的上述目标执行机进行处理。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S101，获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；
步骤S102，在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；
步骤S103，根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；
步骤S104，将上述分片任务发送至对应的上述目标执行机进行处理。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1)、本申请的任务分片方法中，首先，获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；然后，在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；之后，根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；最后，将上述分片任务发送至对应的上述目标执行机进行处理。该方法获取执行机集群的执行机地址信息，并根据路由规则信息灵活选择执行机，在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置，解决了现有技术中任务分配方法的路由策略不灵活的问题。
2)、本申请的任务分片装置中，第一获取单元获取待处理任务的任务信息，上述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，上述路由规则信息为选择用于处理上述待处理任务的执行机的策略信息；第二获取单元在上述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；确定单元根据上述分片类型信息、上述路由规则信息和分片总数信息确定对应的上述待用执行机地址信息，得到目标执行机的地址信息，上述目标执行机与上述待处理任务的分片任务一一对应；发送单元将上述分片任务发送至对应的上述目标执行机进行处理。该装置获取执行机集群的执行机地址信息，并根据路由规则信息灵活选择执行机，在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置，解决了现有技术中任务分配方法的路由策略不灵活的问题。
3)、本申请的业务系统中，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的方法。该系统获取执行机集群的执行机地址信息，并根据路由规则信息灵活选择执行机，在实际生产环境中执行器的数量多变或者执行机有特殊变动等情况下，实现执行机很灵活和方便的配置，解决了现有技术中任务分配方法的路由策略不灵活的问题。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种任务分片方法，其特征在于，包括：
获取待处理任务的任务信息，所述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，所述路由规则信息为选择用于处理所述待处理任务的执行机的策略信息；
在所述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；
根据所述分片类型信息、所述路由规则信息和所述分片总数信息确定对应的所述待用执行机地址信息，得到目标执行机的地址信息，所述目标执行机与所述待处理任务的分片任务一一对应；
将所述分片任务发送至对应的所述目标执行机进行处理，
根据所述分片类型信息、所述路由规则信息和所述分片总数信息确定对应的所述待用执行机地址信息，得到目标执行机的地址信息，包括：在所述分片类型信息为不分片的情况下，根据所述路由规则信息确定所述待处理任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息；在所述分片类型信息为分片的情况下，根据所述路由规则信息确定所述分片任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息；在所述分片类型信息为广播的情况下，确定所有的所述待用执行机地址信息均为所述目标执行机的地址信息，
将所述分片任务发送至对应的所述目标执行机进行处理，包括：根据所述分片总数信息和所述目标执行机的数量计算分片区间，所述分片区间为一个所述目标执行机对应的所述分片任务的数量；根据所述分片区间确定分片信息，所述分片信息为所述目标执行机与所述分片任务的对应关系。
2.根据权利要求1所述的方法，其特征在于，在所述分片类型信息为分片的情况下，根据所述路由规则信息确定各所述分片任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息，包括：
在所述分片总数信息为1的情况下，根据所述路由规则信息确定一个所述执行机地址信息对应的所述目标执行机的地址信息；
在所述分片总数信息大于1的情况下，根据所述路由规则信息确定多个所述待用执行机地址信息，得到所述目标执行机的地址信息，所述目标执行机与所述待处理任务的分片任务一一对应。
3.根据权利要求1所述的方法，其特征在于，在所述分片类型信息为分片的情况下，根据所述路由规则信息确定各所述分片任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息之前，所述方法还包括：
在所述路由规则信息为空的情况下，确定一个预备路由规则信息为所述路由规则信息，所述预备路由规则信息包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移。
4.根据权利要求3所述的方法，其特征在于，在所述路由规则信息为空的情况下，确定一个预备路由规则信息为所述路由规则信息，包括：
在所述路由规则信息为空的情况下，确定所述轮询为所述路由规则信息。
5.根据权利要求3所述的方法，其特征在于，所述预备路由规则信息包括任一路由规则和多级动态均衡路由策略，所述任一路由规则包括第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、失效重试转移和忙碌转移，所述多级动态均衡路由策略包括一级策略和二级策略，所述一级策略包括第一预定路由规则和失效重试转移，所述二级策略包括第二预定路由规则，所述第一预定路由规则为多个所述任一路由规则的一个，所述第二预定路由规则为多个所述任一路由规则的一个，所述第一预定路由规则、所述第二预定路由规则和所述失效重试转移为不同的所述任一路由规则，所述失效重试转移用于在所述第一预定路由规则失效的情况下，确定所述第二预定路由规则为所述路由规则信息。
6.一种任务分片装置，其特征在于，包括：
第一获取单元，用于获取待处理任务的任务信息，所述任务信息包括执行机名信息、执行机地址信息、路由规则信息、分片总数信息和分片类型信息，所述路由规则信息为选择用于处理所述待处理任务的执行机的策略信息；
第二获取单元，用于在所述执行机地址信息为空的情况下，获取执行机集群的执行机地址信息，得到待用执行机地址信息；
确定单元，用于根据所述分片类型信息、所述路由规则信息和所述分片总数信息确定对应的所述待用执行机地址信息，得到目标执行机的地址信息，所述目标执行机与所述待处理任务的分片任务一一对应；
发送单元，用于将所述分片任务发送至对应的所述目标执行机进行处理，
所述确定单元包括第一确定模块、第二确定模块和第三确定模块，所述第一确定模块用于在所述分片类型信息为不分片的情况下，根据所述路由规则信息确定所述待处理任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息；所述第二确定模块用于在所述分片类型信息为分片的情况下，根据所述路由规则信息确定所述分片任务对应的所述待用执行机地址信息，得到所述目标执行机的地址信息；所述第三确定模块用于在所述分片类型信息为广播的情况下，确定所有的所述待用执行机地址信息均为所述目标执行机的地址信息，
所述发送单元包括计算模块和确定模块，所述计算模块用于根据所述分片总数信息和所述目标执行机的数量计算分片区间，所述分片区间为一个所述目标执行机对应的所述分片任务的数量；所述确定模块用于根据所述分片区间确定分片信息，所述分片信息为所述目标执行机与所述分片任务的对应关系。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的方法。
8.一种业务系统，其特征在于，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210361924.9A CN114745382B (zh) | 2022-04-07 | 2022-04-07 | 任务分片方法、任务分片装置和业务系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210361924.9A CN114745382B (zh) | 2022-04-07 | 2022-04-07 | 任务分片方法、任务分片装置和业务系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114745382A CN114745382A (zh) | 2022-07-12 |
| CN114745382B true CN114745382B (zh) | 2024-05-24 |
Family
ID=82278137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210361924.9A Active CN114745382B (zh) | 2022-04-07 | 2022-04-07 | 任务分片方法、任务分片装置和业务系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114745382B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109857409A (zh) * | 2019-01-16 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微服务网关的数据处理方法、装置及计算机设备 |
| CN110209496A (zh) * | 2019-05-20 | 2019-09-06 | 中国平安财产保险股份有限公司 | 基于数据处理的任务分片方法、装置及分片服务器 |
| CN110704185A (zh) * | 2019-09-20 | 2020-01-17 | 深圳市递四方信息科技有限公司 | 集群系统分片定时任务调度方法及集群系统 |
| KR20200058273A (ko) * | 2018-11-19 | 2020-05-27 | 서강대학교산학협력단 | 블록체인 샤딩 환경에서 노드 간 메시지 전달 방법 |
| CN111857998A (zh) * | 2020-07-10 | 2020-10-30 | 科大国创云网科技有限公司 | 一种可配置的定时任务调度方法及系统 |
| CN113391890A (zh) * | 2021-04-16 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种任务处理方法、装置、设备和计算机存储介质 |
| CN113778658A (zh) * | 2020-09-29 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 任务分配方法及装置、电子设备、存储介质 |
| CN114020408A (zh) * | 2021-10-28 | 2022-02-08 | 北京沃东天骏信息技术有限公司 | 一种任务分片配置方法及装置、设备、存储介质 |
-
2022
- 2022-04-07 CN CN202210361924.9A patent/CN114745382B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200058273A (ko) * | 2018-11-19 | 2020-05-27 | 서강대학교산학협력단 | 블록체인 샤딩 환경에서 노드 간 메시지 전달 방법 |
| CN109857409A (zh) * | 2019-01-16 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微服务网关的数据处理方法、装置及计算机设备 |
| CN110209496A (zh) * | 2019-05-20 | 2019-09-06 | 中国平安财产保险股份有限公司 | 基于数据处理的任务分片方法、装置及分片服务器 |
| CN110704185A (zh) * | 2019-09-20 | 2020-01-17 | 深圳市递四方信息科技有限公司 | 集群系统分片定时任务调度方法及集群系统 |
| CN111857998A (zh) * | 2020-07-10 | 2020-10-30 | 科大国创云网科技有限公司 | 一种可配置的定时任务调度方法及系统 |
| CN113778658A (zh) * | 2020-09-29 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 任务分配方法及装置、电子设备、存储介质 |
| CN113391890A (zh) * | 2021-04-16 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种任务处理方法、装置、设备和计算机存储介质 |
| CN114020408A (zh) * | 2021-10-28 | 2022-02-08 | 北京沃东天骏信息技术有限公司 | 一种任务分片配置方法及装置、设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114745382A (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12063265B2 (en) | Efficient, automated distributed-search methods and systems | |
| US10726518B2 (en) | Capacity reservation for virtualized graphics processing | |
| US11429449B2 (en) | Method for fast scheduling for balanced resource allocation in distributed and collaborative container platform environment | |
| US9348840B2 (en) | Adaptive data striping and replication across multiple storage clouds for high availability and performance | |
| WO2016145091A1 (en) | Opportunistic resource migration to optimize resource placement | |
| CN104937584A (zh) | 基于共享资源的质量向经优先级排序的虚拟机和应用程序提供优化的服务质量 | |
| US8856365B2 (en) | Computer-implemented method, computer system and computer readable medium | |
| US9697028B1 (en) | Directed placement for request instances | |
| JP2005056391A (ja) | コンピューティング環境の作業負荷を均衡させる方法およびシステム | |
| US10664278B2 (en) | Method and apparatus for hardware acceleration in heterogeneous distributed computing | |
| CN105791381A (zh) | 访问控制的方法及装置 | |
| CN108228842B (zh) | Docker镜像库文件存储方法、终端、设备以及存储介质 | |
| US11561843B2 (en) | Automated performance tuning using workload profiling in a distributed computing environment | |
| CN114745382B (zh) | 任务分片方法、任务分片装置和业务系统 | |
| CN107045452B (zh) | 虚拟机调度方法和装置 | |
| CN114780228B (zh) | 一种混合云资源创建方法及系统 | |
| US10635336B1 (en) | Cache-based partition allocation | |
| US11567841B1 (en) | Database system | |
| US11526286B1 (en) | Adaptive snapshot chunk sizing for snapshots of block storage volumes | |
| CN109617954B (zh) | 一种创建云主机的方法和装置 | |
| US11474846B2 (en) | Controller for bridging database architectures | |
| CN113157415A (zh) | 农场渲染方法、装置、电子设备和存储介质 | |
| CN114860350B (zh) | 基于云无盘树状镜像的数据处理的方法及装置 | |
| CN111582398B (zh) | 数据聚类方法、装置、系统、服务器以及存储介质 | |
| CN118502965B (zh) | 加速卡分配方法、装置和人工智能平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |