CN114020408A - 一种任务分片配置方法及装置、设备、存储介质 - Google Patents

一种任务分片配置方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN114020408A
CN114020408A CN202111266164.5A CN202111266164A CN114020408A CN 114020408 A CN114020408 A CN 114020408A CN 202111266164 A CN202111266164 A CN 202111266164A CN 114020408 A CN114020408 A CN 114020408A
Authority
CN
China
Prior art keywords
address information
task
target address
configuration
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111266164.5A
Other languages
English (en)
Inventor
丰泽
王晓成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202111266164.5A priority Critical patent/CN114020408A/zh
Publication of CN114020408A publication Critical patent/CN114020408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种任务分片配置方法及装置、设备、存储介质，该方法包括任务配置平台通过在注册中心注册，以订阅服务；根据提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片得到子任务，并根据订阅服务的机器的配置信息对子任务进行配置。本发明实施例基于提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片和配置，以实现按照机器配置来承担任务的目的，达到资源有效合理使用，避免高配机器支援空闲，以及减少低配机器负载较高经常宕机风险，实现分布式任务的动态分配任务的功能。

Description

一种任务分片配置方法及装置、设备、存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种任务分片配置方法及装置、设备、存储介质。
背景技术
在进行大量数据的处理过程中，为了提高效率，可以将一个任务拆分为多个任务分片，由多个服务器同时进行处理。目前，通常基于Elastic-job分布式调度框架和TBSchedule分布式调度框架实现任务分片。
但是Elastic-job分布式调度框架和TBSchedule分布式调度框架都是基于zookeeper来实现任务调度的高可用和分片，并不能根据机器实际配置情况，进行不均匀分片处理，即不能让高配置机器多承担一些分片项，低配置机器少承担一些分片项。
发明内容
本发明实施例期望提供一种任务分片配置方法及装置、设备、存储介质，能够实现不均匀分片处理，按照机器的配置对任务进行配置，达到资源有效合理使用，避免高配机器支援空闲，同时减少低配机器负载较高经常宕机风险。
本发明的技术方案是这样实现的：
本发明实施例提供一种任务分片配置方法，应用于Quartz任务配置平台，包括：
发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；
接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；
基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；
基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。
上述方案中，所述基于所述目标地址信息的所述配置信息以及所述预设分片算法，对所述待处理任务分片处理，以得到子任务，包括：
基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；
根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
上述方案中，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地址信息数量的整数倍。
上述方案中，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
若所述对比结果为所述目标地址信息之间存在配置差异，则根据所述每个目标地址信息的所述配置信息，对所述目标地址信息进行划分，并得到至少两组目标地址信息；
根据所述至少两组目标地址信息以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
上述方案中，所述根据所述至少两组目标地址信息以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
根据所述预设分片算法，以及所述目标地址信息的数量、所述第一目标地址信息中目标地址信息的数量，对所述待处理任务分片处理，并得到多个第二子任务；其中，所述第一目标地址信息为所述至少两组目标地址信息中的任意一组目标地址信息，所述第一目标地址信息中所述每个目标地址信息的所述配置信息均高于所述至少两组目标地址信息中剩余的目标地址信息；所述多个第二子任务表征所述子任务；所述多个第二子任务的数量为所述目标地址信息与所述第一目标地址信息中目标地址信息的数量和。
上述方案中，所述基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果，包括：
根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
上述方案中，所述根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果，包括：
基于预设排序规则，以及所述目标地址信息中所述每个目标地址信息的所述配置信息，对所述目标地址信息排序，得到排序后的目标地址信息；
根据所述排序后的目标地址信息，以及所述每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
本发明实施例提供一种任务分片配置方法，应用于注册中心，包括：
接收任务配置平台发送的服务消费注册请求；其中，所述服务消费注册请求携带有待处理任务；
响应于所述服务消息注册请求，根据所述待处理任务，确定任务执行地址信息；其中，所述任务执行地址信息由服务端发送至所述注册中心进行存储；
基于预设dubbo路由规则，对所述任务执行地址信息过滤，得到目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器，所述目标地址信息为所述服务消息注册请求的响应结果；
发送所述目标地址信息至所述任务配置平台。
本发明实施例提供一种任务分片配置装置，包括第一接收单元、第一处理单元和第一发送单元，如下：
所述第一发送单元，用于发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；
所述第一接收单元，用于接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；
所述第一处理单元，用于基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。
上述方案中，所述第一处理单元，还用于基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；根据所述对比结果以及预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
上述方案中，所述第一处理单元，还用于若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地址信息数量的整数倍。
上述方案中，所述第一处理单元，还用于若所述对比结果为所述目标地址信息之间存在配置差异，则根据所述每个目标地址信息的所述配置信息，对所述目标地址信息进行划分，并得到至少两组目标地址信息；根据所述至少两组目标地址信息以及预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
上述方案中，所述第一处理单元，还用于根据所述预设分片算法，以及所述目标地址信息的数量、所述第一目标地址信息中目标地址信息的数量，对所述待处理任务分片处理，并得到多个第二子任务；其中，所述第一目标地址信息为所述至少两组目标地址信息中的任意一组目标地址信息，所述第一目标地址信息中所述每个目标地址信息的所述配置信息均高于所述至少两组目标地址信息中剩余的目标地址信息；所述多个第二子任务表征所述子任务；所述多个第二子任务的数量为所述目标地址信息与所述第一目标地址信息中目标地址信息的数量和。
上述方案中，所述第一处理单元，还用于根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
上述方案中，所述第一处理单元，还用于基于预设排序规则，以及所述目标地址信息中所述每个目标地址信息的所述配置信息，对所述目标地址信息排序，得到排序后的目标地址信息；根据所述排序后的目标地址信息，以及所述每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
本发明实施例提供一种任务分片配置装置，包括第二接收单元、第二处理单元和第二发送单元，如下：
所述第二接收单元，用于接收任务配置平台发送的服务消费注册请求；其中，所述服务消费注册请求携带有待处理任务；
所述第二处理单元，用于响应于所述服务消息注册请求，根据所述待处理任务，确定任务执行地址信息；其中，所述任务执行地址信息由服务端发送至所述注册中心进行存储；基于预设dubbo路由规则，对所述任务执行地址信息过滤，得到目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器，所述目标地址信息为所述服务消息注册请求的响应结果；
所述第二发送单元，用于发送所述目标地址信息至所述任务配置平台。
本发明实施例提供一种任务配置平台，包括：
第一存储器，用于存储可执行指令；
第一通信总线，用于实现所述第一存储器与第一处理器的通信；
所述第一处理器，用于执行所述第一存储器中存储的可执行指令，以实现如本发明实施例所述的应用于任务配置平台的任务分片配置方法。
本发明实施例提供一种注册中心，包括
第二存储器，用于存储可执行指令；
第二通信总线，用于实现所述第二存储器与第二处理器的通信；
所述第二处理器，用于执行所述第二存储器中存储的可执行指令，以实现如本发明实施例提供所述的应用于注册中心的任务分片配置方法。
本发明实施例提供一种计算机可读存储介质，所述存储介质存储有可执行指令，当所述可执行指令被执行时，用于引起第一处理器执行如本发明实施例所述的应用于任务配置平台的任务分片配置方法。
本发明实施例提供一种计算机可读存储介质，所述存储介质存储有可执行指令，当所述可执行指令被执行时，用于引起第二处理器执行如本发明实施例提供所述的应用于注册中心的任务分片配置方法。
本发明实施例提供了一种任务分片配置方法及装置、设备、存储介质，该方法包括任务配置平台通过在注册中心注册，以订阅服务；根据提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片得到子任务，并根据订阅服务的机器的配置信息对子任务进行配置。
本发明实施例基于提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片和配置，以实现按照机器配置来承担任务的目的，达到资源有效合理使用，避免高配机器支援空闲，以及减少低配机器负载较高经常宕机风险，实现分布式任务的动态分配任务的功能。
附图说明
图1为本发明实施例提供的一种任务分片配置应用场景；
图2为本发明实施例提供的一种应用于任务配置平台的任务分片配置方法的流程图；
图3为本发明实施例提供的一种应用于注册中心的任务分片配置流程图一；
图4为本发明实施例提供的一种应用于注册中心的任务分片配置流程图二；
图5为本发明实施例提供的一种应用于注册中心的任务分片配置流程图三；
图6为本发明实施例提供的一种应用于注册中心的任务分片配置流程图四；
图7为本发明实施例提供的一种应用于注册中心的任务分片配置流程图五；
图8为本发明实施例提供的一种应用于注册中心的任务分片配置流程图六；
图9为本发明实施例提供的一种任务分片配置流程图一；
图10为本发明实施例提供的一种任务分片配置流程图二；
图11为本发明实施例提供的一种任务分片配置装置的结构示意图；
图12为本发明实施例提供的另一种任务分片配置装置的结构示意图；
图13为本发明实施例提供的一种任务配置平台的结构示意图；
图14为本发明实施例提供的一种注册中心的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1是本发明实施例提供的一种任务分片配置应用场景，如图1所示，本发明实施例提供一种任务分片配置应用场景，包括任务配置平台、注册中心和服务端。
在本发明的一些实施例中，注册中心和服务端均可以基于Dubbo搭建。其中，Dubbo是一个分布式、高性能、透明化的RPC(Remote Procedure Call，远程过程调用)服务框架，可以提供服务自动注册、自动发现等高效服务治理方案，可以和Spring框架无缝集成。
在本发明的一些实施例中，任务配置平台可以基于Quartz搭建，用于执行定时任务，从而实现数据(任务执行地址信息或目标地址信息)的调度、待处理任务的分片以及配置。
在本发明的一些实施例中，服务端用于实现根据配置结果来动态分配任务，即将任务bean注入Spring中；其中，服务端中包括至少一个用于提供服务的机器。示例性的，至少一个用于提供服务的机器可以是机器A、机器B和机器C。在实际使用中，服务端与注册中心连接，在注册中心处注册能够提供的服务，并发送服务端中能够提供服务的机器标识(任务执行地址信息)至注册中心进行存储；任务配置平台在注册中心订阅需要的服务，同时发送服务信息至注册中心。这样注册中心可以根据服务信息获知任务配置平台需要的服务，将服务端与任务配置平台进行匹配，从而建立通信，使得任务配置平台将待处理任务发送至服务端，通过服务端执行上述待处理任务，从而获得需要的服务。
在本发明的一些实施例中，注册中心之间中设有预设dubbo路由规则，用于对注册中心中存储的能够提供服务的机器标识(任务执行地址信息)进行过滤，找到目标服务器(目标地址信息)，并将目标服务器发送至任务配置平台。
图2是本发明实施例提供的一种应用于任务配置平台的任务分片配置方法的流程图一，如图2所示，本发明实施例提供一种任务分片配置方法，应用于任务配置平台，包括：
S101、发送服务消费注册请求至注册中心；服务消费注册请求携带有待处理任务。
本发明实施例中，适用于任务配置平台获取能够执行待处理任务的服务的场景。
本发明实施例中，任务配置平台发送服务消费注册请求和待处理任务至注册中心。
本发明实施例中，任务配置平台可以通过服务消费注册请求在注册中心进行注册(订阅服务)，从而获得对应的服务；待处理任务用于为注册中心提供服务信息，使得注册中心能够根据服务信息确定能够提供服务的机器(任务执行地址信息)。
可以理解的是，任务配置平台通过订阅注册中心的服务，以实现动态配置的目的，在实际使用中，任务配置平台可以动态发现新的服务，无需重启生效。
S102、接收注册中心响应于服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行待处理任务的机器。
本发明实施例中，适用于任务配置平台接收到能够执行待处理任务的服的场景。
本发明实施例中，任务配置平台接收注册中心响应于服务消费注册请求发送的目标地址信息。
本发明实施例中，任务配置平台用于统一任务调度，动态配置任务；在实际使用中，任务配置平台获取待处理任务后，当待处理任务被触发时，则需要对待处理任务进行分片处理，通过目标地址信息对分片处理后的待处理任务进行处理。其中，待处理任务进行分片处理后将得到子任务，任务配置平台将子任务分配至目标地址信息，使得目标地址信息可以同时对子任务进行处理。
本发明实施例中，任务配置平台中设有自定义job(定时任务)，当需要处理待处理任务时，任务配置平台首先执行自定义job，执行自定义job时，任务配置平台将执行分片算法逻辑，以对待处理任务进行分片处理。
本发明实施例中，执行自定义job之前，需要对自定义job进行配置。其中，需要配置的对象包括：jobName(任务别名)，示例性的，jobName可以是worker1，worker2；cronExpression(cron执行表达式)；jobDesc(任务描述)；totalItems(总分片数)；serviceName(类名或方法名)，示例性的，serviceName可以是voidserviceClient.dealMethod；limitIps(任务执行IP列表)，示例性的，limitIps的格式可以为ip1，ip2，ip3，…,其中，ip1，ip2，ip3均为目标地址信息并表征不同的用于执行待处理任务的机器；status(任务状态)。
可以理解的是，任务配置平台获取到待处理任务和能够处理待处理任务的目标地址信息，通过上述目标地址信息对待处理任务进行处理，提高了处理效率。
S103、基于目标地址信息的配置信息以及预设分片算法，对待处理任务分片处理，以得到子任务。其中，配置信息表征机器的中央处理器CPU和内存。
本发明实施例中，适用于对待处理任务进行分片处理的场景。
本发明实施例中，任务配置平台通过预设分片算法，根据目标地址信息的中央处理器CPU和内存情况，对待处理任务进行分片处理，从而得到子任务。
本发明实施例中，预设分片算法用于根据目标地址信息的中央处理器CPU和内存情况，以及目标地址信息的数量，确定待处理任务的分片总数，并对待处理任务进行分片，使得得到的子任务数量与上述分片总数一致。其中，预设分片算法的计算内容包括：总分片数(totalItems)、总机器数(totalIp)、取余(mod＝totalItems％totalIp)、整除(div＝totalItems/totalIp)；总机器数即为limitIps(任务执行IP列表)的数组长度，示例性的，若limitIps为(ip1，ip2，ip3，ip4)，则总机器数为4。
本发明实施例中，预设分片算法可以如下：
Figure BDA0003327054800000101
其中，预设分片算法包括外层循环和内层循序，外层循环代表调用次数，调用次数与总机器数相等；内层循环代表每次调用分片项，每次调用分片项指每个目标地址信息配置的子任务数量。
本发明实施例中，配置totalItems和limitIps时，要根据目标地址信息表征的机器的配置信息进行设定，如果机器配置不一样，将高配置机器写在前面，在配置totalItems时，要根据机器的配置信息进行调整，从而到达按照机器进行分片处理和配置的目的。在实际使用中，若目标地址信息中包括n个目标地址信息，其中，n个目标地址信息的配置信息相同且最高，则任务配置平台对待处理任务分片时，需要多分片得到n个子任务，也可以多分片得到2n个子任务。若目标地址信息中包括n个目标地址信息和m个目标地址信息，其中，n个目标地址信息的配置信息高于m个目标地址信息的配置信息，m个目标地址信息的配置信息高于目标地址信息中其余的目标地址信息的配置信息；则任务配置平台对待处理任务分片时，需要多分片得到2n+m个子任务，也可以多分片得到3n+m个子任务。本发明实施例不作限定。
本发明实施例中，目标地址信息可以是一个或多个，当目标地址信息为一个时，若目标地址信息的配置情况较低，则子任务的数量可以为一个，即待处理任务就是子任务；若目标地址信息的配置情况较高，则子任务的数量可以是多个，即多个子任务均由一个目标地址信息处理。
可以理解的是，任务配置平台根据目标地址信息的配置情况对待处理任务进行分片处理，以保证高配置的机器配置的子任务数量大于低配置的机器，从而提高资源的利用率。
在本发明的一些实施例中，S103还包括S1031和S1032，如下：
S1031、基于目标地址信息中每个目标地址信息的配置信息，对目标地址信息进行对比，并得到对比结果。
在本发明的一些实施例中，适用于确定目标地址信息的配置情况的场景。
在本发明的一些实施例中，任务配置平台基于目标地址信息中每个目标地址信息的配置信息，对目标地址信息进行对比；根据目标地址信息中每个目标地址信息的中央处理器CPU和内存是否一致，从而得到对比结果。
在本发明的一些实施例中，配置信息指机器的中央处理器CPU数量和内存大小，示例性的，目标地址信息为三个目标地址信息，三个目标地址信息分别表征机器A、机器B和机器C；其中，机器A和机器B设有2个CPU且内存为4g，机器C设有4个CPU且内存为8g，则对比结果为机器A、机器B和机器C之间存在配置差异，且机器C的配置高于机器A和机器B。
可以理解的是，通过配置信息对目标地址信息进行对比，可以确定目标地址信息中每个目标地址信息的处理能力。
S1032、根据对比结果以及预设分片算法，对待处理任务分片处理，以得到子任务。
在本发明的一些实施例中，适用于根据目标地址信息的配置信息，对待处理任务进行分片处理的场景。
在本发明的一些实施例中，任务配置平台根据对比结果和预设分片算法，将待处理任务分片得到子任务。
在本发明的一些实施例中，若对比结果为目标地址信息之间不存在配置差异，则根据预设分片算法，以及目标地址信息的数量，对待处理任务分片处理，并得到多个第一子任务。其中，多个第一子任务表征子任务；多个第一子任务的数量为目标地址信息数量的整数倍。
在本发明的一些实施例中，若目标地址信息之间不存在配置差异，则意味着目标地址信息对应的每个机器的处理能力均一致，任务配置平台将待处理任务进行分片处理，从而得到数量为目标地址信息数量的整数倍个子任务，对子任务平均配置于每个目标地址信息即可保证资源的合理应用。
在本发明的一些实施例中，若对比结果为目标地址信息之间存在配置差异，则根据每个目标地址信息的配置信息，对目标地址信息进行划分，并得到至少两组目标地址信息。
在本发明的一些实施例中，若目标地址信息之间存在配置差异，则意味着目标地址信息对应的机器之间的处理能力存在差异；任务配置平台根据机器的处理能力，将目标地址信息划分为至少两组目标地址信息。示例性的，根据机器A、机器B和机器C的配置信息，对机器A、机器B和机器C进行划分；由于，机器A和机器B设有2个CPU且内存为4g，机器C设有4个CPU且内存为8g，因此，将机器A和机器B分为一组目标地址信息，将机器C分为一组目标地址信息。
在本发明的一些实施例中，根据至少两组目标地址信息以及预设分片算法，对待处理任务分片处理，以得到子任务。
在本发明的一些实施例中，任务配置平台根据预设分片算法和划分得到的两组目标地址信息中的目标地址信息数量，对待处理任务分片处理，以得到子任务。
在本发明的一些实施例中，根据预设分片算法，以及目标地址信息的数量、第一目标地址信息中目标地址信息的数量，对待处理任务分片处理，并得到多个第二子任务；其中，第一目标地址信息为至少两组目标地址信息中的任意一组目标地址信息，第一目标地址信息中每个目标地址信息的配置信息均高于至少两组目标地址信息中剩余的目标地址信息；多个第二子任务表征子任务；多个第二子任务的数量为目标地址信息与第一目标地址信息中目标地址信息的数量和。
在本发明的一些实施例中，任务配置平台根据S102的预设分片算法，以及目标地址信息的数量、第一目标地址信息中目标地址信息的数量，对待处理任务分片处理，并得到多个第二子任务；多个第二子任务表征子任务；多个第二子任务的数量为目标地址信息与第一目标地址信息中目标地址信息的数量和。
在本发明的一些实施例中，由于，当目标地址信息对应的机器配置信息越高时，对应的机器的处理能力越强，需要配置的子任务数量也就越多。因此，对待处理任务分片处理时，需要得到数量为目标地址信息数量的整数倍个子任务加配置信息最高的一组目标地址信息中目标地址信息的数量和；示例性的，将机器A和机器B分为一组目标地址信息，将机器C分为一组目标地址信息；其中，机器A和机器B设有2个CPU且内存为4g，机器C设有4个CPU且内存为8g；可以将待处理任务分片为4或7个子任务。
可以理解的是，任务配置平台按照目标地址信息的机器数量和对应的配置信息对待处理任务进行分片，使得在后期对分片得到的子任务进行配置时，可以根据机器的配置信息确定配置的子任务的数量，提高资源使用的合理性，减少高配置的机器空闲、低配置机器负载较高经常宕机的风险。
S104、基于目标地址信息的配置信息，对子任务进行配置，得到配置结果；其中，任务配置平台通过配置结果获得用于处理子任务的服务。
本发明实施例中，适用于根据目标地址信息对应的机器的配置信息，将子任务的配置于上述机器的场景。
本发明实施例中，任务配置平台基于目标地址信息中每个目标地址信息对应的机器的配置信息，对子任务进行配置，从而得到配置结果。
本发明实施例中，任务配置平台根据目标地址信息中每个目标地址信息对应的机器的配置信息，确定每个目标地址信息对应的机器应该配置的子任务数量。示例性的，基于S102中的机器A、机器B和机器C，以及S102中分片得到的子任务进行配置；若子任务为4个，则给机器A和机器B分别配置1个子任务，给机器C配置2个子任务。若子任务为7个，则给机器A和机器B分别配置2个子任务，给机器C配置3个子任务。
本发明实施例中，基于S102，当目标地址信息中包括n个目标地址信息和m个目标地址信息，且任务配置平台对待处理任务多分片得到2n+m个子任务时，任务配置平台可以给n个目标地址信息中的每个目标地址信息多配置2个子任务，给m个目标地址信息中的每个目标地址信息多配置1个子任务。
可以理解的是，任务配置平台根据机器的配置信息对子任务进行配置，使得配置高的机器配置的子任务数量大于配置低的机器配置的子任务数量，可以提高资源使用的合理性，减少高配置的机器空闲、低配置机器负载较高经常宕机的风险。
在本发明的一些实施例中，根据目标地址信息中每个目标地址信息的配置信息，对子任务进行配置，得到配置结果。
在本发明的一些实施例中，任务配置平台根据目标地址信息中每个目标地址信息的配置信息，对子任务进行配置；若目标地址信息的配置信息高，则多配置预设个数的子任务，若目标地址信息的配置信息低，则不多配置子任务，从而得到配置结果。
在本发明的一些实施例中，通过对目标地址信息的配置信息进行对比，从而确定目标地址信息的配置信息是否存在差异，并确定每个目标地址信息的配置信息满足高配置要求还是低配置要求；其中，高配置要求和低配置要求均根据实际情况预设，示例性的，高配置要求可以指配置信息表征4个CPU和8g内存，还可以指配置信息表征4个CPU和16g内存。本发明实施例不作限定。
可以理解的是，这样根据每个目标地址信息的配置信息，对子任务进行配置得到的配置结果，根据配置结果对子任务进行配置，可以提高资源的合理利用率。
在本发明的一些实施例中，基于预设排序规则，以及目标地址信息中每个目标地址信息的配置信息，对目标地址信息排序，得到排序后的目标地址信息。
在本发明的一些实施例中，任务配置平台将目标地址信息按照预设排序规则进行排序，得到排序后的目标地址信息。其中预设排序规则基于每个目标地址信息的配置信息设定。
在本发明的一些实施例中，预设排序规则可以是按照目标地址信息的配置信息对目标地址信息进行排序，使得高配置的目标地址信息依次排在最前方，即按照目标地址信息的配置信息，将目标地址信息由高配置到低配置进行排序。示例性的，由于，S102中机器C的配置高于机器A和机器B，因此，将机器A、机器B和机器C排序为机器C、机器A、机器B；在配置limitIps时，若机器A、机器B和机器C分别对应ip1、ip2和ip3，则配置得到的limitIps应该是：ip3，ip2，ip3。
本发明实施例中，若配置的limitIps中存在第一目标地址信息，而上述第一目标地址信息不存在于注册中心发送至任务配置平台的目标地址信息中，则任务配置平台根据limitIps中除第一目标地址信息以外的目标地址信息进行分片。其中，第一目标地址信息为limitIps中的任意一个目标地址信息，而除第一目标地址信息以外的目标地址信息均存在于注册中心发送至任务配置平台的目标地址信息中。若配置的limitIps中的所有目标地址信息均不存在于注册中心发送至任务配置平台的目标地址信息中，则任务配置平台进行报错。若配置的limitIps中存在第二目标地址信息，而第二目标地址信息虽然存在于注册中心发送至任务配置平台的目标地址信息中，但是第二目标地址信息的无法执行任务配置平台配置的子任务时，任务配置平台进行报错。
可以理解的是，这样更便于按照机器配置情况对子任务进行配置。
图3是本发明实施例提供的一种应用于注册中心的任务分片配置流程图一，如图3所示，本发明实施例提供一种任务分片配置方法，应用于注册中心，包括：
S201、接收任务配置平台发送的服务消费注册请求。其中，服务消费注册请求携带有待处理任务。
本发明实施例中，适用于注册中心根据任务配置平台的服务消费注册请求对任务配置平台进行注册，以为任务配置平台提供服务的场景。
本发明实施例中，注册中心接收任务配置平台发送的服务消费注册请求和待处理任务；其中，注册中心可以通过待处理任务确定任务配置平台需要的服务。
本发明实施例中，注册中心可以在任务配置平台与服务端之间建立通信；注册中心可以为服务提供者(服务端)提供注册服务，使得服务提供者将服务注册到注册中心；当消费者(任务配置平台)需要服务时，注册中心根据消费者的订阅(发送服务消费注册请求)，在消费者与服务提供者之间建立通信，使得服务提供者能够实现对消费者的服务。
可以理解的是，注册中心根据任务配置平台的需求，为任务配置平台提供服务，实现了动态配置的目的。
S202、响应于服务消息注册请求，根据待处理任务，以及预设dubbo路由规则，对预设的任务执行地址信息过滤，得到目标地址信息；其中，目标地址信息表征用于执行待处理任务的机器，目标地址信息为服务消息注册请求的响应结果确定任务执行地址信息；其中。
本发明实施例中，适用于得到用于执行待处理任务的机器的场景。
本发明实施例中，注册中心响应于服务消息注册请求，根据待处理任务，以及预设dubbo路由规则，对预设的任务执行地址信息过滤，将任务执行地址信息中不能执行待处理任务的任务执行地址信息去除掉，从而得到目标地址信息。
本发明实施例中，预设dubbo路由规则设于注册中心的路由器中，路由器负责对任务进行统一调度，即负责待处理任务的增删改查服务，以根据机器的配置信息，确定哪些机器能够执行待处理任务，从而保证每次调用时限制请求到上述能够执行待处理任务的机器上。
图4是本发明实施例提供的一种应用于注册中心的任务分片配置流程图二，如图4所示，本发明实施例中，路由器通过实现dubbo路由节点，写入预设dubbo路由规则。其中，路由器根据预设dubbo路由规则对任务执行地址信息过滤时，首先，从invocation中获取入参中配置的任务执行地址信息；其次，循环List<Provider>，将不能执行待处理任务的任务执行地址信息过滤掉，从而得到目标地址信息；最后，返回目标地址信息至注册中心。
图5是本发明实施例提供的一种应用于注册中心的任务分片配置流程图三，如图5所示，本发明实施例中，当预设dubbo路由规则用于新增任务时，先判断新增任务状态；若新增任务状态为启用，则构建org.quartz.JobDetail对象和org.quartz.CronTrigger对象；之后执行scheduler.scheduleJob(JobDetail,Trigger)方法，从而启动调度scheduler,start()，将新增任务动态添加到mysql数据库中的schduler容器中，此时若删除上述新增任务，上述新增任务将直接从表中物理删除，同时上述新增任务也会从schduler容器中移除。若新增任务状态为停止，则将新增任务直接存储到mysql数据库。
图6是本发明实施例提供的一种应用于注册中心的任务分片配置流程图四，如图6所示，本发明实施例中，当预设dubbo路由规则统一配置平台删除任务时，先判断任务状态；若任务状态为启用，则根据任务名获取JobDetail；若JobDetail等于0，即JobDetail＝＝null，则结束流程；若JobDetail不等于0，则根据任务名停止触发器，并根据任务移除触发器，最后根据任务名删除任务，并将mysql数据库中对应的任务进行删除，从而结束流程；其中，触发器用于触发任务配置平台。若任务状态为停用，则直接结束流程。
图7是本发明实施例提供的一种应用于注册中心的任务分片配置流程图五，如图7所示，本发明实施例中，当预设dubbo路由规则统一配置平台修改任务时，需要先获取修改的任务，执行删除逻辑，将未修改的逻辑删除后，执行新增的任务。
图8是本发明实施例提供的一种应用于注册中心的任务分片配置流程图六，如图8所示，本发明实施例中，当预设dubbo路由规则统一配置平台重启任务时，需要先从mysql数据库中获取所有任务状态为开启的任务，最后将上述所有任务状态为开启的任务动态添加到schedulerr容器中。
可以理解的是，本发明实施例中，基于预设dubbo路由规则完成任务执行地址信息的过滤，从而得到目标地址信息，以实现对待处理任务的非均匀分片。
S203、发送目标地址信息至任务配置平台。
本发明实施例中，适用于将过滤得到的目标地址信息发送至任务配置平台实现待处理任务的分配和配置的场景。
本发明实施例中，路由器发送目标地址信息至任务配置平台，使得任务配置平台根据上述目标地址信息的数量和配置信息进行配置。
可以理解的是，路由器将过滤得到的目标地址信息发送至任务配置平台，为任务配置平台实现对待处理任务的非均匀分片提供了数据。
图9是本发明实施例提供的一种任务分片配置流程图一，如图9所示，在本发明的一些实施例中，本发明实施例提供的一种任务分片配置方法，包括：
S301、任务配置平台发送服务消费注册请求和待处理任务至注册中心。
S302、注册中心响应于服务消息注册请求，根据待处理任务，确定任务执行地址信息。
S303、注册中心基于预设dubbo路由规则，对任务执行地址信息过滤，得到目标地址信息。
S304、注册中心发送目标地址信息至任务配置平台。
S305、任务配置平台基于目标地址信息的配置信息以及预设分片算法，对待处理任务分片处理，以得到子任务。
S306、任务配置平台基于目标地址信息的配置信息，对子任务进行配置，得到配置结果。
可以理解的是，任务配置平台通过配置结果通过注册中心得到服务端提供的服务，目标地址信息执行对应的子任务，从而完成待处理任务的处理。
图10是本发明实施例提供的一种任务分片配置流程图二，如图10所示，在本发明的一些实施例中，本发明实施例提供的一种任务分片配置方法，包括：
S401、任务(待处理任务)触发，接收目标地址信息。
在本发明的一些实施例中，任务触发指任务配置平台在注册中心完成注册，并获取到能够对任务提供服务的目标地址信息。
在本发明的一些实施例中，接收到的目标地址信息为ip1(机器A)、ip2(机器B)和ip3(机器C)。
可以理解的是，任务触发后，任务配置平台即可根据接收到的目标地址信息，对任务进行分片和配置。
S402、执行自定义job(定时任务)。
在本发明的一些实施例中，任务配置平台执行自定义job，自定义job用于根据预设的时刻或条件，执行预设的算法逻辑。
可以理解的是，任务触发后，通过自定义job执行任务的分配和配置，提高了便捷性。
S403、将目标地址信息按照逗号拆分，从而配置limitIps。
在本发明的一些实施例中，基于S401中接收到的ip1(机器A)、ip2(机器B)和ip3(机器C)，将ip1(机器A)、ip2(机器B)和ip3(机器C)按照逗号拆分，以配置limitIps后，将得到ip1，ip2，ip3。
在本发明的一些实施例中，也可以按照顿号等符号对每两个目标地址信息进行拆分，本发明实施例不作限定。
可以理解的是，这样在基于limitIps执行分片算法逻辑时，将更易于区分每个目标地址信息，保证分片算法逻辑的正常执行。
S404、执行分片算法逻辑，得到多个分片项(子任务)。
在本发明的一些实施例中，执行S103中的分片算法逻辑，基于S401中接收到的ip1(机器A)、ip2(机器B)和ip3(机器C)，对任务进行分片，得到多个分片项。
可以理解的是，通过执行S103中的分片算法逻辑，对任务进行分片，能够实现任务的非均匀分片。
S405、对目标地址信息进行循环，获取每个目标地址信息对应的分片项(子任务)。
在本发明的一些实施例中，根据每个目标地址信息的配置信息，获取每个目标地址信息应该承担的分片项。
可以理解的是，这样可以实现按照机器配置来承担任务，达到资源有效合理使用，避免高配机器支援空闲，以及减少低配机器负载较高经常宕机风险，实现分布式任务的动态分配任务功能
S406、判断循环是否结束，若循环未结束，则开启线程，通过调用逻辑分片项至作为入参传入对应的每个目标地址信息表征的机器；若循环结束，则结束流程。
在本发明的一些实施例中，通过判断循环是否结束，可以了解任务的处理进程。循环未结束，则开启线程，实现在循环的同时，通过调用逻辑分片项至作为入参传入对应的每个目标地址信息表征的机器，以进行处理的目的。
可以理解的是，通过开启线程实现循环与分片项的入参，提高了工作效率。
图11是本发明实施例提供的一种任务分片配置装置的结构示意图，如图11所示，本发明实施例提供一种任务分片配置装置5，对应于一种应用于任务配置平台的任务分片配置方法，包括第一接收单元51、第一处理单元52和第一发送单元53，如下：
所述第一发送单元53，用于发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；
所述第一接收单元51，用于接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；
所述第一处理单元52，用于基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。
在本发明的一些实施例中，所述第一处理单元52，还用于基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；根据所述对比结果以及预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
在本发明的一些实施例中，所述第一处理单元52，还用于若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地址信息数量的整数倍。
在本发明的一些实施例中，所述第一处理单元52，还用于若所述对比结果为所述目标地址信息之间存在配置差异，则根据所述每个目标地址信息的所述配置信息，对所述目标地址信息进行划分，并得到至少两组目标地址信息；根据所述至少两组目标地址信息以及预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
在本发明的一些实施例中，所述第一处理单元52，还用于根据所述预设分片算法，以及所述目标地址信息的数量、所述第一目标地址信息中目标地址信息的数量，对所述待处理任务分片处理，并得到多个第二子任务；其中，所述第一目标地址信息为所述至少两组目标地址信息中的任意一组目标地址信息，所述第一目标地址信息中所述每个目标地址信息的所述配置信息均高于所述至少两组目标地址信息中剩余的目标地址信息；所述多个第二子任务表征所述子任务；所述多个第二子任务的数量为所述目标地址信息与所述第一目标地址信息中目标地址信息的数量和。
在本发明的一些实施例中，所述第一处理单元52，还用于根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
在本发明的一些实施例中，所述第一处理单元52，还用于基于预设排序规则，以及所述目标地址信息中所述每个目标地址信息的所述配置信息，对所述目标地址信息排序，得到排序后的目标地址信息；根据所述排序后的目标地址信息，以及所述每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
图12是本发明实施例提供的另一种任务分片配置装置的结构示意图，如图12所示，本发明实施例提供另一种任务分片配置装置6，对应于一种应用于注册中心的任务分片配置方法，包括第二接收单元61、第二处理单元62和第二发送单元63，如下：
所述第二接收单元61，用于接收任务配置平台发送的服务消费注册请求；其中，所述服务消费注册请求携带有待处理任务；
所述第二处理单元62，用于响应于所述服务消息注册请求，根据所述待处理任务，确定任务执行地址信息；其中，所述任务执行地址信息由服务端发送至所述注册中心进行存储；基于预设dubbo路由规则，对所述任务执行地址信息过滤，得到目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器，所述目标地址信息为所述服务消息注册请求的响应结果；
所述第二发送单元63，用于发送所述目标地址信息至所述任务配置平台。
图13是本发明实施例提供的一种任务配置平台的结构示意图，如图13所示，本发明实施例提供了一种任务配置平台，对应于一种应用于任务配置平台的任务分片配置方法；任务配置平台7包括：第一处理器71、第一存储器72以及第一通信总线74，第一存储器72通过第一通信总线74与第一处理器71进行通信，第一存储器72存储所述第一处理器71可执行的一个或者多个程序，当所述一个或者多个程序被执行时，所述第一处理器71执行如本发明实施例的任务分片配置方法，具体的，任务配置平台7还包括用于进行数据传输的第一通信组件73，其中，第一处理器71至少设有一个。
本发明实施例中，任务配置平台7中的各个组件通过总线74耦合在一起。可理解，通过总线74用于实现这些组件之间的连接通信。通过总线74除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为通过总线74。
图14是本发明实施例提供的一种注册中心的结构示意图，如图14所示，本发明实施例提供了一种注册中心，对应于一种应用于注册中心的任务分片配置方法；注册中心8包括：第二处理器81、第二存储器82以及第二通信总线84，第二存储器82通过第二通信总线84与第二处理器81进行通信，第二存储器82存储所述第二处理器81可执行的一个或者多个程序，当所述一个或者多个程序被执行时，所述第二处理器81执行如本发明实施例的任务分片配置方法，具体的，注册中心8还包括用于进行数据传输的第二通信组件83，其中，第二处理器81至少设有一个。
本发明实施例中，注册中心8中的各个组件通过总线84耦合在一起。可理解，通过总线84用于实现这些组件之间的连接通信。通过总线84除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图14中将各种总线都标为通过总线84。
本发明实施例提供了一种存储介质，所述存储介质存储有可执行指令，当所述可执行指令被执行时，用于引起第一处理器执行如本发明实施例所述的应用于任务配置平台的任务分片配置方法。
本发明实施例提供了一种存储介质，所述存储介质存储有可执行指令，当所述可执行指令被执行时，用于引起第二处理器执行如本发明实施例所述的应用于注册中心的任务分片配置方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (13)

1.一种任务分片配置方法，其特征在于，应用于Quartz任务配置平台，包括：
发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；
接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；
基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；
基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标地址信息的所述配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务，包括：
基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；
根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
3.根据权利要求2所述的方法，其特征在于，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地址信息数量的整数倍。
4.根据权利要求2所述的方法，其特征在于，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
若所述对比结果为所述目标地址信息之间存在配置差异，则根据所述每个目标地址信息的所述配置信息，对所述目标地址信息进行划分，并得到至少两组目标地址信息；
根据所述至少两组目标地址信息以及预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两组目标地址信息以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
根据所述预设分片算法，以及所述目标地址信息的数量、第一目标地址信息中目标地址信息的数量，对所述待处理任务分片处理，并得到多个第二子任务；其中，所述第一目标地址信息为所述至少两组目标地址信息中的任意一组目标地址信息，所述第一目标地址信息中所述每个目标地址信息的所述配置信息均高于所述至少两组目标地址信息中剩余的目标地址信息；所述多个第二子任务表征所述子任务；所述多个第二子任务的数量为所述目标地址信息与所述第一目标地址信息中目标地址信息的数量和。
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果，包括：
根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果，包括：
基于预设排序规则，以及所述目标地址信息中所述每个目标地址信息的所述配置信息，对所述目标地址信息排序，得到排序后的目标地址信息；
根据所述排序后的目标地址信息，以及所述每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
8.一种任务分片配置方法，其特征在于，应用于注册中心，包括：
接收任务配置平台发送的服务消费注册请求；其中，所述服务消费注册请求携带有待处理任务；
响应于所述服务消息注册请求，根据所述待处理任务，确定任务执行地址信息；其中，所述任务执行地址信息由服务端发送至所述注册中心进行存储；
基于预设dubbo路由规则，对所述任务执行地址信息过滤，得到目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器，所述目标地址信息为所述服务消息注册请求的响应结果；
发送所述目标地址信息至所述任务配置平台。
9.一种任务分片配置装置，其特征在于，包括第一接收单元、第一处理单元和第一发送单元，如下：
所述第一发送单元，用于发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；
所述第一接收单元，用于接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；
所述第一处理单元，用于基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。
10.一种任务分片配置装置，其特征在于，包括第二接收单元、第二处理单元和第二发送单元，如下：
所述第二接收单元，用于接收任务配置平台发送的服务消费注册请求；其中，所述服务消费注册请求携带有待处理任务；
所述第二处理单元，用于响应于所述服务消息注册请求，根据所述待处理任务，确定任务执行地址信息；其中，所述任务执行地址信息由服务端发送至所述注册中心进行存储；基于预设dubbo路由规则，对所述任务执行地址信息过滤，得到目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器，所述目标地址信息为所述服务消息注册请求的响应结果；
所述第二发送单元，用于发送所述目标地址信息至所述任务配置平台。
11.一种任务配置平台，其特征在于，包括：
第一存储器，用于存储可执行指令；
第一通信总线，用于实现所述第一存储器与第一处理器的通信；
所述第一处理器，用于执行所述第一存储器中存储的可执行指令，以实现如权利要求1-7任一项所述的任务分片配置方法。
12.一种注册中心，其特征在于，包括
第二存储器，用于存储可执行指令；
第二通信总线，用于实现所述第二存储器与第二处理器的通信；
所述第二处理器，用于执行所述第二存储器中存储的可执行指令，以实现如权利要求8所述的任务分片配置方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有可执行指令，当所述可执行指令被执行时，用于引起第一处理器执行如权利要求1-7任一项所述的任务分片配置方法；或者，用于引起第二处理器执行如权利要求8所述的任务分片配置方法。
CN202111266164.5A 2021-10-28 2021-10-28 一种任务分片配置方法及装置、设备、存储介质 Pending CN114020408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111266164.5A CN114020408A (zh) 2021-10-28 2021-10-28 一种任务分片配置方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111266164.5A CN114020408A (zh) 2021-10-28 2021-10-28 一种任务分片配置方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN114020408A true CN114020408A (zh) 2022-02-08

Family

ID=80058464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111266164.5A Pending CN114020408A (zh) 2021-10-28 2021-10-28 一种任务分片配置方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN114020408A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745382A (zh) * 2022-04-07 2022-07-12 中国邮政储蓄银行股份有限公司 任务分片方法、任务分片装置和业务系统
CN114745382B (zh) * 2022-04-07 2024-05-24 中国邮政储蓄银行股份有限公司 任务分片方法、任务分片装置和业务系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745382A (zh) * 2022-04-07 2022-07-12 中国邮政储蓄银行股份有限公司 任务分片方法、任务分片装置和业务系统
CN114745382B (zh) * 2022-04-07 2024-05-24 中国邮政储蓄银行股份有限公司 任务分片方法、任务分片装置和业务系统

Similar Documents

Publication Publication Date Title
CN107391629B (zh) 集群间数据迁移方法、系统、服务器及计算机存储介质
CN109564528B (zh) 分布式计算中计算资源分配的系统和方法
CN106933669B (zh) 用于数据处理的装置和方法
CN105786603B (zh) 一种基于分布式的高并发业务处理系统及方法
CN111897633A (zh) 一种任务处理的方法和装置
CN111324435A (zh) 分布式任务调度及注册方法、设备和分布式任务调度系统
US20160344582A1 (en) Call home cluster
CN112416969B (zh) 分布式数据库中的并行任务调度系统
CN113821506A (zh) 用于任务系统的任务执行方法、装置、系统、服务器和介质
CN116225655A (zh) 一种任务调度方法、装置及存储介质
CN106293911A (zh) 分布式调度系统、方法
WO2020108337A1 (zh) 一种cpu资源调度方法及电子设备
CN110569124A (zh) 一种任务分配方法和装置
JP5420477B2 (ja) 情報サービスシステム
CN114546493A (zh) 核共享方法及装置、处理核、电子设备、介质
CN111831408A (zh) 异步任务处理方法、装置、电子设备及介质
CN111382141A (zh) 主从架构配置方法、装置、设备以及计算机可读存储介质
CN114020408A (zh) 一种任务分片配置方法及装置、设备、存储介质
CN116954816A (zh) 容器集群控制方法、装置、设备及计算机存储介质
CN108833532B (zh) 基于物联网的服务处理方法、装置和系统
CN115712572A (zh) 任务的测试方法、装置、存储介质及电子装置
CN108984105B (zh) 对网络存储设备中的复制任务进行分配的方法和设备
CN111045778B (zh) 一种虚拟机的创建方法、装置、服务器及存储介质
US10191815B2 (en) Parallel node backup for CSV
CN114546631A (zh) 任务调度方法、控制方法、核心、电子设备、可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination