CN117076453A - 一种批量任务处理方法、装置及设备 - Google Patents

一种批量任务处理方法、装置及设备 Download PDF

Info

Publication number
CN117076453A
CN117076453A CN202311051119.7A CN202311051119A CN117076453A CN 117076453 A CN117076453 A CN 117076453A CN 202311051119 A CN202311051119 A CN 202311051119A CN 117076453 A CN117076453 A CN 117076453A
Authority
CN
China
Prior art keywords
task
processing
server cluster
service data
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311051119.7A
Other languages
English (en)
Inventor
周安林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN202311051119.7A priority Critical patent/CN117076453A/zh
Publication of CN117076453A publication Critical patent/CN117076453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例公开了一种批量任务处理方法、装置及设备。方案包括：第一服务器集群获取批量任务处理请求触发指令；响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群；第二服务器集群接收第一服务器集群分发的处理任务；根据所述处理任务从数据库中捞取所述处理任务对应的业务数据；将所述业务数据分发给所述集群资源中的第三服务器集群；所述第三服务器集群接收所述第二服务器集群分发的业务数据；并对所述业务数据进行处理。

Description

一种批量任务处理方法、装置及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种批量任务处理方法、装置及设备。
背景技术
在一些大规模数据计算的场景中，需要进行计算的数据库中包含的数量通常非常庞大，机构在利息收取和给付日，结息任务耗时也越来越长，用户不能及时收到利息金额或者所要给付利息通知，导致依赖结息任务的其他日终任务延迟较严重；行业内很多结息的任务都在一台计算机上运行，所以随着数据量的增加，计算性能无法满足业务要求。例如：银行业客户群庞大，需要基于客户的维度，进行利息的计算和给付，银行的一笔存款或者贷款，需要在特定的日期进行客户利息的收付；需要在银行或者相关金融机构日终批处理任务时间段进行处理，但是利息的计算往往需要耗费很长时间，如果处理时间太长，会影响整个日终批处理任务的产出，影响企业的运营以及用户利息的收取和发放，影响用户体验。
为了克服上述问题，目前很多企业引入大数据平台，将在线的数据同步到离线大数据平台，利用离线大数据平台将在线的数据，通过数据接入工具，导入到离线数据平台的数据仓库，再针对离线大数据平台编写具体的离线处理逻辑完成基于客户维度的利息计算，最后将数据导出到在线数据表，进行数据处理。
但是现有技术中采用的方式，企业需要搭建数据平台，整体的成本较高；且将数据同步到离线环境的耗时较长，离线环境的稳定性较差，任务处理效率低。
发明内容
有鉴于此，本申请实施例提供了一种批量任务处理方法、装置及设备，用于在不增加成本的基础上提高任务处理效率。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种批量任务处理方法，所述方法应用于第一服务器集群，所述方法包括：
获取批量任务处理请求触发指令；
响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
将所述第二处理任务集合中的第二处理任务在所述第一服务器集群中进行分发；
根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，并将所述业务数据分发给所述集群资源中的第三服务器集群进行处理。
本说明书实施例提供的一种批量任务处理方法，所述方法应用于第一服务器集群，所述方法包括：
获取批量任务处理请求触发指令；
响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
将所述第二处理任务集合中的第二处理任务分发给集群资源中的第三服务器集群，以供所述第三服务器集群根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，将所述业务数据在第三服务器集群中进行分发并处理。
本说明书实施例提供的一种批量任务处理装置，包括：
触发指令获取模块，用于获取批量任务处理请求触发指令；
任务拆分模块，用于响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
第一分发模块，用于将所述第二处理任务集合中的第二处理任务在所述第一服务器集群中进行分发；
业务数据捞取模块，用于根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据；
第二分发模块，用于将所述业务数据分发给所述集群资源中的第三服务器集群进行处理。
本说明书实施例提供的一种批量任务处理装置，包括：
触发指令获取模块，用于获取批量任务处理请求触发指令；
任务拆分模块，用于响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
第一分发模块，用于将所述第二处理任务集合中的第二处理任务分发给集群资源中的第三服务器集群，以供所述第三服务器集群根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，将所述业务数据在所述第三服务器集群中进行分发并处理。
本说明书实施例提供的一种批量任务处理设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述批量任务处理方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：通过对批量任务按照拆分规则进行拆分，并拆分后的任务分配给相应的服务器集群，由服务器集群负责从数据库中捞取相应的业务数据，并将捞取的业务数据合理分配给集群资源中的相应服务器集群进行数据处理，能够自动适配集群的扩容和缩容，具备自动伸缩的能力，随着数据量的增长可以动态进行扩容，能在不增加成本的基础上提高任务处理效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例1提供的一种批量任务处理方法的流程示意图；
图2为本说明书实施例2提供的一种批量任务拆分方法的流程示意图；
图3为本说明书实施例3提供的一种批量任务数据捞取方法的流程示意图；
图4为本说明书实施例提供的对应于图1的一种批量任务处理装置的结构示意图；
图5为本说明书实施例提供的对应于图2的一种批量任务拆分装置的结构示意图；
图6为本说明书实施例提供的对应于图3的一种批量任务数据捞取装置的结构示意图；
图7为本说明书实施例提供的一种批量任务处理系统的架构图；
图8为本说明书实施例提供的对应于图1至图3的一种批量任务处理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
现有技术中，将在线的数据同步到离线大数据平台，利用离线大数据平台将在线的数据，通过数据接入工具，导入到离线数据平台的数据仓库，再针对离线大数据平台编写具体的离线处理逻辑完成基于客户维度的利息计算，最后将数据导出到在线数据表，进行数据处理，这种方法中，企业需要搭建数据平台，整体的成本较高；且将数据同步到离线环境的耗时较长，离线环境的稳定性较差，任务处理效率低。
实施例1
图1为本说明书实施例1提供的一种批量任务处理方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器的程序或应用客户端。
如图1所示，该流程可以包括以下步骤：
S101：第一服务器集群获取批量任务处理请求触发指令；
所述批量任务的数量大于预设阈值，所述预设阈值指的是在预设阈值范围内不需要进行任务拆分。但是如果超出预设阈值，即需要处理大批量数据时，如果采用联机交易，通常会产生超时现象，同时对核心服务压力也很大。批量业务可以包括一行定期批量扣税、批量止付或者是定期工资汇款等等。
集群通信系统是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群可能运行着一个或多个分布式系统，也可能根本没有运行分布式系统，一个集群可包括多台服务器。
S102：响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合。
第一服务器可以用来对批量任务进行拆分，在进行具体的拆分时，根据拆分规则对批量业务进行拆分，上述步骤中的第一处理任务表示批量业务请求对应的批量业务；第二处理任务集合中包括的处理任务为拆分后的处理任务。
S103：将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群。
集群资源可以以不同的单位进行度量，例如，可以采用机器的台数及逆行度量，此时，集群中的任意一台机器都可以认为是一个单位的集群资源，对于划分出的集群资源集合，集群资源集合中可以包含设定台数的机器。在上述步骤中，集群资源中包括了系统中的所有集群，一个集群中可以包含多台服务器。配置中心通过配置第一服务器集群，使第一服务器集群将拆分好的处理任务分给集群资源中的服务器集群，分发的时候是按照拆分好的任务进行分配，如果是按照某种标识进行任务拆分，那么一个服务器集群可以只分配到一种标识对应的处理任务。
在进行拆分后的任务分配时，通过配置中心能得到所有集群的运行状态，在分布式集群中都会存在一个统一配置中心的应用，是个基于“发布-订阅”模型的通讯组件，通过配置中心将服务的发布者和服务的订阅者联系在一起，通过配置中心发现集群中的服务提供方。配置中心起到了流量平均的作用，平均整个集群的调用流量，从配置中心中可以知道各个集群的运行状态。
根据各个集群的运行状态以及负载能力，配置中心将任务分配给相应的服务器集群，平均整个集群的调用流量。
S104：第二服务器集群接收第一服务器集群分发的处理任务。
S105：根据所述处理任务从数据库中捞取所述处理任务对应的业务数据。
每一个服务器集群根据接收到的处理任务从数据库中将对应的数据捞取出来，数据库中存储着批量任务对应的全部任务数据。每个集群负责捞取对应的业务数据。例如：服务器集群A分配到处理任务Y，则，服务器集群负责捞取处理任务Y对应的全部业务数据即可，这里的业务数据包括处理任务Y对应的用户账户，以及用户账户对应的交易数据。
S106：将所述业务数据分发给所述集群资源中的第三服务器集群；
S107：所述第三服务器集群接收所述第二服务器集群分发的业务数据；并对所述业务数据进行处理。
第三服务器集群中的各个集群对接收到的处理任务相应的业务数据进行处理。例如：当第三服务器集群的执行组件(excutor)接收到业务数据(用户账号)后，就可以获取需要处理的具体用户数据；根据用户当天日终的存款的金额，按照规定的比率与规定的基数进行计算，计算出需要利息给付结息金额，进行账务记账，更新用户结息任务控制单当前周期结息。用户结息任务控制单在用户存款时就已经生成，比如将用户拆分100份，每个用户进行存款账户生成时，随机生成一个1～100的随机数任务ID；任务分发(splitor)组件分发100个任务到应用的服务器集群中；不同服务器集群接收到具体的任务ID；用户在开立存款账户的同时，生成一份计提任务控制单的数据表，控制单中包含结息的信息，其中包含随机生成的任务ID，在特定周期内(每日日终、每月月底或者每季度月底等等)基于任务ID的标识进行任务拆分。
上述步骤S101至S107中所述的方法，可以采用下面的具体例子进行的说明：
例如：银行在月底需要进行结息操作，具体的，需要计算出每个用户金额对应的月底利息，进行利息分发和收取，此时，用户数量庞大，需要对该批量业务进行拆分。假设每个用户进行存款账户生成时，会随机生成一个1～100的随机数任务ID，在每个用户开立存款账户的同时，会生成一份计提任务控制单的数据表，控制单中包含结息的信息，其中包含随机生成的任务ID，通过集群中的服务器(可认为是第一服务器集群)，将任务进行按照一定维度进行拆分，比如：将批量任务按照1-9的标识进行拆分，拆分后得到标识为1的对应有300个用户账户，标识为2的对应有100个用户账户，标识为3的对应有400个用户账户，……，标识为9的对应有200个用户账户，此时，将这些用户账户按照标识信息分配给第二服务器集群(包括服务器集群B-K，均可用)，可以将标识1-9对应的用户账户分配给第二服务器集群，例如：服务器集群B对应标识为1的300个用户账户，服务器集群C对应标识为2的100个用户账户，服务器集群D对应标识为3的400个用户账户，……，服务器集群K对应标识为9的200个用户账户(这一分配不需要按照顺序，只需要满足一个标识对应一个服务器集群即可)。紧接着，服务器集群B从数据库中捞取对应标识为1的300个用户账户对应的账户业务数据，服务器集群C从数据库中捞取对应标识为2的100个用户账户对应的账户业务数据，服务器集群D从数据库中捞取对应标识为3的400个用户账户对应的账户业务数据，……，服务器集群K从数据库中捞取对应标识为9的200个用户账户对应的账户业务数据。业务数据捞取完成后，配置中心配置第二服务器集群，将捞取的用户业务数据分配给第三服务器集群，在分配时，可以将一个标识对应的业务数据分配给一个第三服务器集群进行处理，也可以将一个标识对应的业务数据分配给多个第三服务器集群进行处理，比如：可以将标识为3对应的300个用户账户对应的业务数据分配给第三服务器集群中的集群L、集群M以及集群N进行处理。
图1的方法步骤中所述的第一服务器集群、第二服务器集群以及第三服务器集群在物理意义上可以是同一集群中的服务器集合。在本方案中，只是按照处理任务的不同，将同一集群中的服务器集合命名为第一服务器集群、第二服务器集群以及第三服务器集群，并不限定第一服务器集群、第二服务器集群以及第三服务器集群一定属于三个不同的集群。在具体应用中，第一服务器集群可以是执行任务拆分操作的服务器集合(可以是一台或多台)；第二服务器集群可以是执行业务数据捞取操作的服务器集合，第三服务器集群可以是执行业务数据处理操作的服务器集合。例如：某集群Y中存在的服务器有30台，分别为X1-X30，当收到批量任务处理请求触发指令时，可采用集群中的一台或多台服务器进行拆分操作，假设此处采用服务器X1和服务器X2进行批量任务拆分，此时服务器X1和服务器X2组成第一服务器集群；将批量任务拆分后，分配给集群中的其他服务器进行捞取，假设此处将分配后的处理任务分配给集群中的服务器X3-X20，由服务器X3-X20进行数据捞取，此时，服务器X3-X20组成第二服务器集群；捞取完业务数据后，从配置中心获取集群中各个服务器的负载能力，将业务数据按照流量均衡分配给集群中的服务器进行处理，假设此处将业务数据分配给服务器X17-X28进行处理，此时，服务器X17-X28组成第三服务器集群；可见，此时的第一服务器集群(服务器X1-X2)、第二服务器集群(服务器X3-X20)以及第三服务器集群(服务器X17-X28)同属于集群Y，其中服务器X17-X20因为在不同的时机处理了不同任务，所以服务器X17-X20既属于第二服务器集群，也属于第三服务器集群。虽然在例子中只有第二服务器集群以及第三服务器集群中的服务器有重合，但是不排除在某些情况下会存在第一服务器集群、第二服务器集群以及第三服务器集群中都有相同的服务器。
图1中的方法，通过对批量任务按照拆分规则进行拆分，并将拆分后的任务分配给相应的服务器集群，由服务器集群负责从数据库中捞取相应的业务数据，并将捞取的业务数据合理分配给集群资源中的相应服务器集群进行数据处理，能够自动适配集群的扩容和缩容，具备自动伸缩的能力，随着数据量的增长可以动态进行扩容，能在不增加成本的基础上提高任务处理效率。
基于图1的方法，本说明书还提供了该方法的其他实施例，下面进行说明。
实施例2
图2为本说明书实施例2提供的一种批量任务拆分方法的流程示意图。
如图2所示，一种批量任务拆分方法，可以包括以下步骤：
S201：第一服务器集群获取批量任务处理请求触发指令。
S202：响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合。
S203：将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群。
在具体应用中，所述对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合，具体可以包括：
获取所述第一处理任务对应的任务标识；
基于所述任务标识对所述第一处理任务进行拆分，得到第二处理任务集合；所述第二处理任务集合中的任意一个第二处理任务对应一个标识。
所述将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群，具体可以包括：
获取所述集群资源集合中服务器集群的运行状态信息；
根据所述运行状态信息，确定第二服务器集群；所述第二服务器集群为可用服务器集群，所述第二服务器集群用于捞取所述处理任务对应的业务数据；
将所述第二处理任务集合中的处理任务按照所述任务标识分发给所述第二服务器集群，一个任务标识对应的所有处理任务分发给所述第二服务器集群中的一个服务器集群。
所述第一服务器集群获取批量任务处理请求触发指令，具体可以包括：
第一服务器集群在设定周期内获取批量任务处理请求触发指令。
例如：第一服务器集群获取批量任务处理请求触发指令后，响应于所述触发指令，需要对批量任务X进行拆分，批量任务为某公司工资结算任务，结算时间为每个月的15号，获取该批量任务对应的任务ID标识，所述任务ID标识为每个公司员工账户对应的标识信息，基于任务ID标识对批量任务进行拆分，得到第二处理任务集合为{任务X1，任务X2，任务X3，任务X4，任务X5}，其中任务X1-X4分别对应有10个员工，任务X5对应有9个员工，从配置中心中获取集群资源集合中服务器集群的运行状态信息，得到可用服务器集群；将任务X1-X5分别分配给可用的服务器集群，比如：分配情况可以为：任务X1分配给服务器集群A，任务X2分配给服务器集群B，任务X3分配给服务器集群C，任务X4分配给服务器集群D，任务X5分配给服务器集群E。
上述实施例1中，按照一定的拆分规则在特定时间内对批量任务进行拆分，保证了在特定的时间内，对批量业务进行快速拆分，并将拆分后的业务数据分配给可用服务器集群，能减少拆分时间，提高拆分效率。
实施例3
图3为本说明书实施例3提供的一种批量任务数据捞取方法的流程示意图。
如图3所示，一种批量任务数据捞取方法，可以包括以下步骤：
S301：第二服务器集群接收第一服务器集群分发的处理任务；所述第一服务器集群对于所述处理任务的分发，具体包括：获取批量任务处理请求触发指令；响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群.
S302：根据所述处理任务从数据库中捞取所述处理任务对应的业务数据。
S303：将所述业务数据分发给所述集群资源中的第三服务器集群。
在实际应用中，所述根据所述处理任务从数据库中捞取所述处理任务对应的业务数据，具体包括：
识别所述处理任务中携带的任务标识；
根据所述任务标识从数据库中捞取对应的业务数据。
所述根据所述任务标识从数据库中捞取对应的业务数据，具体可以包括：
根据所述第二服务器集群的处理负载能力，确定每次捞取的业务数据的数量；所述每次捞取的业务数据数量不超过所述第二服务器集群的处理负载能力；
按照所述每次捞取的业务数据的数量从所述数据库中依次捞取业务数据，直到同一业务标识对应的业务数据全部捞取完。
所述将所述业务数据分发给所述集群资源中的第三服务器集群，具体可以包括：
获取所述集群资源中第三服务器集群的负载能力；
根据所述负载能力确定每个所述第三服务器集群对应的可承载业务数据量；
按照所述可承载业务数据量，将所述业务数据分发给每个所述第三服务器集群。
延用实施例2中提到的例子继续进行说明，分配情况可以为：任务X1分配给服务器集群A，任务X2分配给服务器集群B，任务X3分配给服务器集群C，任务X4分配给服务器集群D，任务X5分配给服务器集群E。获取了对应的任务以及任务标识后，接下来要进行的步骤是从数据库中捞取需要处理的业务数据：服务器集群A从数据库中捞取任务X1对应的所有业务数据，服务器集群B从数据库中捞取任务X2对应的所有业务数据，服务器集群C从数据库中捞取任务X3对应的所有业务数据，服务器集群D从数据库中捞取任务X4对应的所有业务数据，服务器集群E从数据库中捞取任务X5对应的所有业务数据。在具体捞取时，可以一次性将对应的业务数据全部捞取出来，也可以进行分批捞取，例如：服务器集群A从数据库中捞取任务X1对应的所有业务数据时，假设任务X1对应的公司员工有1000人，此时根据集群资源中可用服务器的负载能力，确定每次捞取的业务数据的数量为100个；那么任务X1对应的所有业务数据可以分10次进行依次捞取。
捞取完业务数据后，将捞取出来的业务数据根据所述负载能力将所述业务数据均衡分发给所述第三服务器集群，具体在进行分发时，由于服务器集群的负载能力以及每个服务器集群的运行状态可能会出现某些服务器集群接收一两条业务数据后就会达到负载饱和，而某些服务器集群能一次性接收多条业务数据，因此，每个集群能处理的业务数据量可能不同，此时不能将捞取到的所有业务数据按照标识一对一分配，而应该均衡分配，确定可用集群的数量，再由配置中心根据各个集群的负载能力以及运行状态来合理分配业务数据，比如：目前可用的服务器集群有：集群F-N，部分分配情况可以是：X1对应的所有业务数据分配给服务器集群F、服务器集群G，X2对应的所有业务数据分配给服务器集群H和服务器集群G，X3对应的所有业务数据分配给服务器集群I；在这三种分配情况中，可以看出服务器集群F的负载能力不足以处理全部的X1对应的所有业务数据，此时X1对应的业务数据会同时分配给服务器集群F、服务器集群G(服务器集群H也为同理)，服务器I能一次性处理X3对应的所有业务数据。
上述的实施例3中，在捞取时，直接按照业务标识信息从数据库中进行针对性捞取，一个服务器集群捞取一个业务标识对应的所有业务数据；根据实际需要可以一次捞取，也可多次循环捞取。这一捞取方法可以针对性地对业务数据进行快速捞取，捞取效率高。
图1-3中的方法，将任务分发给分布式集群中所有的服务器，利用分布式集群的能力，解决机构周期性用户结息操作的效能问题，也能够极大的节省成本，该任务分发框架通过分布式集群中的配置中心，进行每一层任务的拆分、捞取、执行组件的服务的发布和发现，能够自动适配集群的扩容和缩容，具备自动伸缩的能力，随着数据量的增长可以动态进行扩容，提升计算能力，解决了机构在进行用户结息操作时的效能问题，同时能够复用机构目前的能力，极大的节省了机构成本。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图4为本说明书实施例提供的对应于图1的一种批量任务处理装置的结构示意图。如图4所示，该装置可以包括：
触发指令获取模块401，第一服务器集群获取批量任务处理请求触发指令；
任务拆分模块402，响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；
第一分发模块403，用于将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群；
处理任务接收模块404，用于第二服务器集群接收第一服务器集群分发的处理任务；
业务数据捞取模块405，用于根据所述处理任务从数据库中捞取所述处理任务对应的业务数据；
第二分发模块406，用于将所述业务数据分发给所述集群资源中的第三服务器集群；
任务处理模块407，用于所述第三服务器集群接收所述第二服务器集群分发的业务数据；并对所述业务数据进行处理。
图5为本说明书实施例提供的对应于图2的一种批量任务拆分装置的结构示意图。如图4所示，该装置可以包括：
触发指令获取模块501，用于第一服务器集群获取批量任务处理请求触发指令；
任务拆分模块502，用于响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；
第一分发模块503，用于将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群。
所述任务拆分模块，具体包括：
任务标识获取单元，用于获取所述第一处理任务对应的任务标识；
任务拆分单元，用于基于所述任务标识对所述第一处理任务进行拆分，得到第二处理任务集合；所述第二处理任务集合中的任意一个第二处理任务对应一个标识。
所述第一分发模块，具体可以包括：
运行状态信息获取单元，用于获取所述集群资源集合中服务器集群的运行状态信息；
第二服务器集群确定单元，用于根据所述运行状态信息，确定第二服务器集群；所述第二服务器集群为可用服务器集群，所述第二服务器集群用于捞取所述处理任务对应的业务数据；
第一任务分发单元，用于将所述第二处理任务集合中的处理任务按照所述任务标识分发给所述第二服务器集群，一个任务标识对应的所有处理任务分发给所述第二服务器集群中的一个服务器集群。
所述触发指令获取模块，具体可以用于：
第一服务器集群在设定周期内获取批量任务处理请求触发指令
所述业务数据捞取模块，具体可以包括：
任务标识识别单元，用于识别所述处理任务中携带的任务标识；
业务数据捞取单元，用于根据所述任务标识从数据库中捞取对应的业务数据。
所述业务数据捞取单元，具体可以用于：
根据所述第二服务器集群的处理负载能力，确定每次捞取的业务数据的数量；所述每次捞取的业务数据数量不超过所述第二服务器集群的处理负载能力；
按照所述每次捞取的业务数据的数量从所述数据库中依次捞取业务数据，直到同一业务标识对应的业务数据全部捞取完。
所述第二分发模块，具体可以包括：
负载能力获取单元，用于获取所述集群资源中第三服务器集群的负载能力；
可承载业务数据量确定单元，用于根据所述负载能力确定每个所述第三服务器集群对应的可承载业务数据量；
第二任务分发单元，用于按照所述可承载业务数据量，将所述业务数据分发给每个所述第三服务器集群。
图6为本说明书实施例提供的对应于图3的一种批量任务数据捞取装置的结构示意图。如图4所示，该装置可以包括：
处理任务接收模块601，用于第二服务器集群接收第一服务器集群分发的处理任务；所述第一服务器集群对于所述处理任务的分发，具体包括：获取批量任务处理请求触发指令；响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群；
业务数据捞取模块602，用于根据所述处理任务从数据库中捞取所述处理任务对应的业务数据；
第二分发模块603，用于将所述业务数据分发给所述集群资源中的第三服务器集群。
基于同样的思路，本说明书实施例还提供了上述方法对应的设备。
图7为本说明书实施例提供的一种批量任务处理系统的架构图。
如图7所示，一种批量处理系统包括利用三层任务分发的框架，分别是第一服务器集群701(也可以叫做拆分服务器集群)、第二服务器集群702(也可以叫做捞取服务器集群)以及第三服务器集群703(也可以叫做处理服务器集群)，第一层中的第一服务器集群中包括splitor(拆分)组件，作用是对批量任务进行拆分、第二层的第二服务器集群中包括loader(下载或捞取)组件，其作用是对批量任务对应的业务数据进行捞取，第三层的第三服务器集群中包括excutor(执行)组件，其作用是对业务数据进行处理，例如，三层分发结构的具体过程可以是：splitor组件将100个任务分发到第二服务器集群中；不同服务器集群接收到具体的任务标识；任务拆分到集群中不同的服务器后，任务分发框架的loader组件接收到任务标识的指令；捞取任务标识对应的用户账号，将用户的账号分发到下一阶段的三层分发框架的excutor的接收组件；任务分发框架的excutor组件接收到分发的任务，就可以获取需要处理的具体用户数据；根据用户当天日终的存款的金额，按照规定的比率与规定的基数进行计算，计算出需要利息给付的金额，进行账务记账。
图8为本说明书实施例提供的对应于图1至图3的一种批量任务处理设备的结构示意图。如图8所示，设备800可以包括：
至少一个处理器810；以及，
与所述至少一个处理器通信连接的存储器830；其中，
所述存储器830存储有可被所述至少一个处理器810执行的指令820，所述指令被所述至少一个处理器810执行。
对应于图1，所述指令可以使所述至少一个处理器810能够：
第一服务器集群获取批量任务处理请求触发指令；
响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；
将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群；
第二服务器集群接收第一服务器集群分发的处理任务；
根据所述处理任务从数据库中捞取所述处理任务对应的业务数据；
将所述业务数据分发给所述集群资源中的第三服务器集群；
所述第三服务器集群接收所述第二服务器集群分发的业务数据；并对所述业务数据进行处理。
对应于图2，所述指令可以使所述至少一个处理器810能够：
第一服务器集群获取批量任务处理请求触发指令；
响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；
将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群。
对应于图3，所述指令可以使所述至少一个处理器810能够：
第二服务器集群接收第一服务器集群分发的处理任务；所述第一服务器集群对于所述处理任务的分发，具体包括：获取批量任务处理请求触发指令；响应于所述批量任务处理请求触发指令，对所述批量任务处理请求对应的第一处理任务按照拆分规则进行拆分，得到第二处理任务集合；将所述第二处理任务集合中的处理任务分发给集群资源中的第二服务器集群；
根据所述处理任务从数据库中捞取所述处理任务对应的业务数据；
将所述业务数据分发给所述集群资源中的第三服务器集群。
基于同样的思路，本说明书实施例还提供了上述方法对应的系统。该系统可以包括：
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (17)

1.一种批量任务处理方法，所述方法应用于第一服务器集群，所述方法包括：
获取批量任务处理请求触发指令；
响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
将所述第二处理任务集合中的第二处理任务在所述第一服务器集群中进行分发；
根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，并将所述业务数据分发给所述集群资源中的第三服务器集群进行处理。
2.如权利要求1所述的方法，所述根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合，具体包括：
获取所述第一处理任务对应的所述任务标识；
基于所述任务标识对所述第一处理任务进行拆分，得到第二处理任务集合；所述第二处理任务集合中的任意一个第二处理任务对应一个所述任务标识。
3.如权利要求1或2所述的方法，所述将所述第二处理任务集合中的第二处理任务在第一服务器集群中进行分发，具体包括：
获取集群资源集合中服务器集群的运行状态信息；
根据所述运行状态信息，确定第一服务器集群；所述第一服务器集群为可用服务器集群；
将所述第二处理任务集合中的第二处理任务按照所述任务标识在第一服务集群中进行分发，一个任务标识对应的第二处理任务分发给所述第一服务器集群中的一个服务器集群。
4.如权利要求1所述的方法，所述获取批量任务处理请求触发指令，具体包括：
在设定周期内获取批量任务处理请求触发指令。
5.如权利要求1所述的方法，所述根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，具体包括：
识别所述第二处理任务中携带的所述任务标识；
根据所述任务标识从数据库中捞取对应的业务数据。
6.如权利要求5所述的方法，所述根据所述任务标识从数据库中捞取对应的业务数据，具体包括：
根据所述第一服务器集群的处理负载能力，确定每次捞取的业务数据的数量；所述每次捞取的业务数据数量不超过所述第一服务器集群的处理负载能力；
按照所述每次捞取的业务数据的数量从所述数据库中依次捞取业务数据，直到同一业务标识对应的业务数据全部捞取完。
7.如权利要求1所述的方法，所述将所述业务数据分发给所述集群资源中的第三服务器集群，具体包括：
获取所述集群资源中第三服务器集群的负载能力；
根据所述负载能力确定每个所述第三服务器集群对应的可承载业务数据量；
按照所述可承载业务数据量，将所述业务数据分发给每个所述第三服务器集群。
8.一种批量任务处理方法，所述方法应用于第一服务器集群，所述方法包括：
获取批量任务处理请求触发指令；
响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
将所述第二处理任务集合中的第二处理任务分发给集群资源中的第三服务器集群，以供所述第三服务器集群根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，将所述业务数据在第三服务器集群中进行分发并处理。
9.如权利要求8所述的方法，所述根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到所述第二处理任务集合，包括：
获取所述第一处理任务对应的所述任务标识；
基于所述任务标识对所述第一处理任务进行拆分，得到第二处理任务集合；所述第二处理任务集合中的任意一个第二处理任务对应一个所述任务标识。
10.如权利要求8所述的方法，所述将所述第二处理任务集合中的第二处理任务分发给集群资源中的第三服务器集群，具体包括：
获取集群资源集合中服务器集群的运行状态信息；
根据所述运行状态信息，确定第三服务器集群；所述第三服务器集群为可用服务器集群；
将所述第二处理任务集合中的第二处理任务按照所述任务标识分发给所述第三服务器集群，一个任务标识对应的第二处理任务分发给所述第三服务器集群中的一个服务器集群。
11.如权利要求8所述的方法，所述获取批量任务处理请求触发指令，具体包括：
在设定周期内获取批量任务处理请求触发指令。
12.如权利要求8所述的方法，所述根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，具体包括：
识别所述第二处理任务中携带的所述任务标识；
根据所述任务标识从数据库中捞取对应的业务数据。
13.如权利要求12所述的方法，所述根据所述任务标识从数据库中捞取对应的业务数据，具体包括：
根据所述第三服务器集群的处理负载能力，确定每次捞取的业务数据的数量；所述每次捞取的业务数据数量不超过所述第三服务器集群的处理负载能力；
按照所述每次捞取的业务数据的数量从所述数据库中依次捞取业务数据，直到同一业务标识对应的业务数据全部捞取完。
14.如权利要求8所述的方法，所述将所述业务数据在所述第三服务器集群中进行分发，具体包括：
获取所述集群资源中第三服务器集群的负载能力；
根据所述负载能力确定每个所述第三服务器集群对应的可承载业务数据量；
按照所述可承载业务数据量，将所述业务数据分发给每个所述第三服务器集群。
15.一种批量任务处理装置，包括：
触发指令获取模块，用于获取批量任务处理请求触发指令；
任务拆分模块，用于响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
第一分发模块，用于将所述第二处理任务集合中的第二处理任务在所述第一服务器集群中进行分发；
业务数据捞取模块，用于根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据；
第二分发模块，用于将所述业务数据分发给所述集群资源中的第三服务器集群进行处理。
16.一种批量任务处理装置，包括：
触发指令获取模块，用于获取批量任务处理请求触发指令；
任务拆分模块，用于响应于所述批量任务处理请求触发指令，根据预先生成的任务标识，将所述批量处理任务请求中具有相同的所述任务标识的第一处理任务，划分为所述任务标识对应的第二处理任务，得到第二处理任务集合；
第一分发模块，用于将所述第二处理任务集合中的第二处理任务分发给集群资源中的第三服务器集群，以供所述第三服务器集群根据所述第二处理任务的任务标识从数据库中捞取所述第二处理任务对应的业务数据，将所述业务数据在所述第三服务器集群中进行分发并处理。
17.一种批量任务处理设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述的批量任务处理方法或者权利要求8至14任一项所述的批量任务处理方法。
CN202311051119.7A 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备 Pending CN117076453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311051119.7A CN117076453A (zh) 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311051119.7A CN117076453A (zh) 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备
CN201910043280.7A CN110008018B (zh) 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910043280.7A Division CN110008018B (zh) 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117076453A true CN117076453A (zh) 2023-11-17

Family

ID=67165450

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311051119.7A Pending CN117076453A (zh) 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备
CN201910043280.7A Active CN110008018B (zh) 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910043280.7A Active CN110008018B (zh) 2019-01-17 2019-01-17 一种批量任务处理方法、装置及设备

Country Status (1)

Country Link
CN (2) CN117076453A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795218B (zh) * 2019-10-11 2022-03-01 口碑(上海)信息技术有限公司 基于单元化的任务调度系统及方法
CN111176844A (zh) * 2019-12-24 2020-05-19 天阳宏业科技股份有限公司 一种金融数据实时在线批量优化方法及系统
CN111367654A (zh) * 2020-02-12 2020-07-03 吉利汽车研究院（宁波）有限公司 基于异构云平台的数据处理方法及装置
CN111459640B (zh) * 2020-04-03 2023-09-26 中国工商银行股份有限公司 跨平台批量作业调度方法及系统
CN111563084A (zh) * 2020-05-06 2020-08-21 中国银行股份有限公司 批量扣费数据处理方法及装置
CN111882427A (zh) * 2020-07-27 2020-11-03 中国建设银行股份有限公司 一种贷款系统数据处理方法、装置、设备及存储介质
CN114157661B (zh) * 2020-09-07 2024-01-16 北京奇艺世纪科技有限公司 数据请求方法、数据处理方法、相关装置、设备及系统
CN113407429A (zh) * 2021-06-23 2021-09-17 中国建设银行股份有限公司 一种任务处理方法和装置
CN113992684B (zh) * 2021-10-26 2022-10-28 中电金信软件有限公司 发送数据的方法、装置、处理节点、存储介质及系统
CN117453665A (zh) * 2023-10-09 2024-01-26 行吟信息科技（上海）有限公司 一种数据处理方法、装置、设备及存储介质
CN117539643B (zh) * 2024-01-09 2024-03-29 上海晨钦信息科技服务有限公司 信用卡清分清算平台、批量任务处理方法及服务器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359295B (zh) * 2007-08-01 2012-05-02 阿里巴巴集团控股有限公司 一种批量任务调度分配方法及系统
US9313087B2 (en) * 2013-01-29 2016-04-12 Stg Interactive, S.A. Distributed computing architecture
CN105740063A (zh) * 2014-12-08 2016-07-06 杭州华为数字技术有限公司 一种数据处理方法及装置
CN106330987A (zh) * 2015-06-15 2017-01-11 交通银行股份有限公司 动态负荷均衡方法
CN107301178B (zh) * 2016-04-14 2021-07-02 创新先进技术有限公司 数据查询处理方法、装置及系统
CN106789362B (zh) * 2017-02-20 2020-04-14 京信通信系统（中国）有限公司 一种设备管理方法及网管系统
CN108829790A (zh) * 2018-06-01 2018-11-16 阿里巴巴集团控股有限公司 一种数据批处理方法、装置及系统

Also Published As

Publication number Publication date
CN110008018B (zh) 2023-08-29
CN110008018A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110008018B (zh) 一种批量任务处理方法、装置及设备
CN111756550B (zh) 一种区块链共识方法及装置
CN109615495B (zh) 一种数据的对账方法、装置、设备及系统
CN107968810B (zh) 一种服务器集群的资源调度方法、装置和系统
CN107291720B (zh) 一种实现批量数据处理的方法、系统和计算机集群
CN105159736B (zh) 一种支持性能分析的SaaS软件部署方案的构建方法
CN109144699A (zh) 分布式任务调度方法、装置及系统
CN110389989B (zh) 一种数据处理方法、装置及设备
CN109002357B (zh) 资源分配方法、装置及物联网系统
CN105786603A (zh) 一种基于分布式的高并发业务处理系统及方法
CN108574645A (zh) 一种队列调度方法及装置
CN111160793A (zh) 一种服务网点自助设备数量的配置方法、装置及设备
CN108900626A (zh) 一种云环境下数据存储方法、装置及系统
CN109886804B (zh) 一种任务处理方法及装置
CN104182295A (zh) 一种数据备份方法及装置
US8548881B1 (en) Credit optimization to minimize latency
US20060149611A1 (en) Peer to peer resource negotiation and coordination to satisfy a service level objective
CN104123303A (zh) 一种提供数据的方法及装置
CN117435317A (zh) 交易记账处理方法及装置
CN115729714A (zh) 一种资源分配方法、装置、存储介质及电子设备
CN117314512A (zh) 资源分配方法和装置、优惠券分配方法和装置
CN110275771A (zh) 一种业务处理方法、物联网计费基础设施系统及存储介质
CN114298585A (zh) 一种面向采购场景的物料采购配额分配方法及装置
CN110032433B (zh) 一种任务执行方法、装置、设备及介质
CN110502551A (zh) 数据读写方法、系统及架构组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination