CN115469989A - 分布式批量任务调度方法及系统 - Google Patents

分布式批量任务调度方法及系统 Download PDF

Info

Publication number
CN115469989A
CN115469989A CN202211329286.9A CN202211329286A CN115469989A CN 115469989 A CN115469989 A CN 115469989A CN 202211329286 A CN202211329286 A CN 202211329286A CN 115469989 A CN115469989 A CN 115469989A
Authority
CN
China
Prior art keywords
task
tasks
module
scheduling
splitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211329286.9A
Other languages
English (en)
Inventor
高�浩
夏慧麟
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Bank Co Ltd
CIB Fintech Services Shanghai Co Ltd
Original Assignee
Industrial Bank Co Ltd
CIB Fintech Services Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Bank Co Ltd, CIB Fintech Services Shanghai Co Ltd filed Critical Industrial Bank Co Ltd
Priority to CN202211329286.9A priority Critical patent/CN115469989A/zh
Publication of CN115469989A publication Critical patent/CN115469989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种分布式批量任务调度方法及系统,包括:获取平台前端数据;读取前端数据中的作业计划表并进行注册,得到作业流水,获取与作业关联的任务生成父级任务流水表;扫描所述任务流水表,获取可执行的任务并加乐观锁,调用任务执行法执行任务;所述平台前端数据包括:作业、任务和作业计划表。本发明通过采用调用任务拆分接口方式,调度程序和业务低耦合,提升了在业务形式多变且业务量增长过快时批处理的处理性能,另外拆分的子任务和任务相同任务编号的方式,调度只需配置到任务,解决了目前市场上常见的任务需配置到最细粒度,不支持动态拆分的问题。

Description

分布式批量任务调度方法及系统
技术领域
本发明涉及任务调度技术领域,具体地,涉及一种分布式批量任务调度方法及系统。
背景技术
任务调度是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程。有了任务调度即可解放更多的人力由系统自动去执行任务。通常任务调度的程序是集成在应用中的,比如:优惠卷服务中包括了定时发放优惠卷的的调度程序,结算服务中包括了定期生成报表的任务调度程序,由于采用分布式架构,一个服务往往会部署多个冗余实例来运行我们的业务,在这种分布式系统环境下运行任务调度,我们称之为分布式任务调度。
专利文献CN112685184A公开了一种分布式任务调度的方法、任务调度平台及任务执行器。任务调度平台与任务执行器通信,任务执行器设置于云服务器和/或边缘设备中,该方法包括:接收任务执行器发送的心跳注册请求,心跳注册请求包括任务执行器的状态信息;响应于接收到心跳注册请求,生成任务执行器对应的任务信箱;根据任务执行器的状态信息将任务池中的任务派发至任务执行器对应的任务信箱。
但是,现有的任务调度技术中,一个或多个任务一个服务,一个服务对应一个常驻进程,常驻进程需要长期占有一定范围的内存,部署时需要更多硬件资源,造成了资源浪费。并且,银行业务形式多变、业务量增长过快,会造成批处理处理性能下降。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种分布式批量任务调度方法及系统。
根据本发明提供的一种分布式批量任务调度方法,包括:
步骤S1:获取平台前端数据;
步骤S2:读取前端数据中的作业计划表并进行注册,得到作业流水,获取与作业关联的任务生成父级任务流水表;
步骤S3:扫描所述任务流水表,获取可执行的任务并加乐观锁,调用任务执行方法执行任务;
所述平台前端数据包括:作业、任务和作业计划表。
优选地,步骤S2包括:
步骤S2.1:定时扫描作业计划表,读取可处理的作业计划;
步骤S2.2:根据对应的作业编号读取任务表,获取当前作业下所有的任务并加乐观锁;其中,乐观锁包括更新已执行日期和状态的信息;
步骤S2.3:注册作业和当前作业下的所有任务,生成作业流水表和任务流水表,其中任务流水表中任务为父级任务。
优选地,步骤S3包括:
步骤S3.1:定时扫描任务流水表,读取任务流水表中可执行的任务并对所述可执行的任务加乐观锁,加锁成功后触发步骤S3.2;
步骤S3.2:检查所述可执行的任务对应的任务执行条件,从而进入任务的执行方法,若执行方法为任务执行,则执行任务;若执行方法为拆分子任务,则触发步骤S3.3;
步骤S3.3:应用程序依据实际业务情景定义拆分依据,平台根据设定的拆分依据,对任务进行拆分,将一个父级任务拆分成多个层级为1的子任务;
步骤S3.4:判断当前层级的子任务是否仍满足拆分条件,若否,则执行当前任务;若是,则继续执行拆分子任务方法,当前拆分出来的子任务对应的任务层级加1;
重复触发步骤S3.4直至当前子任务不满足拆分条件后执行当前任务。
优选地,调度服务拉起的每个任务对应一个独立JVM进程;
每个服务器上都部署调度服务和批量任务,调度服务常驻,批量任务执行完即退出;
设置JVM启动参数,动态调整批量所需的内存上限,通过设置任务进程数的上限控制任务并发进程数,其中,所述任务进程数的上限包括单机上限、集群上限。
优选地,所述父级任务的任务层级为0,其中子任务和父任务的任务编号相同;
所述拆分条件决定业务走向且每个层级的任务对应不同的拆分条件。
根据本发明提供的一种分布式批量任务调度系统,包括:
模块M1:获取平台前端数据;
模块M2:读取前端数据中的作业计划表并进行注册,得到作业流水,获取与作业关联的任务生成父级任务流水表;
模块M3:扫描所述任务流水表,获取可执行的任务并加乐观锁,调用任务执行方法执行任务;
所述平台前端数据包括:作业、任务和作业计划表。
优选地,模块M2包括:
模块M2.1:定时扫描作业计划表,读取可处理的作业计划;
模块M2.2:根据对应的作业编号读取任务表,获取当前作业下所有的任务并加乐观锁;其中,乐观锁包括更新已执行日期和状态的信息;
模块M2.3:注册作业和当前作业下的所有任务,生成作业流水表和任务流水表,其中任务流水表中任务为父级任务。
优选地,模块M3包括:
模块M3.1:定时扫描任务流水表,读取任务流水表中可执行的任务并对所述可执行的任务加乐观锁,加锁成功后触发模块M3.2;
模块M3.2:检查所述可执行的任务对应的任务执行条件,从而进入任务的执行系统,若执行系统为任务执行,则执行任务;若执行系统为拆分子任务,则触发模块M3.3;
模块M3.3:应用程序依据实际业务情景定义拆分依据,平台根据设定的拆分依据,对任务进行拆分,将一个父级任务拆分成多个层级为1的子任务;
模块M3.4:判断当前层级的子任务是否仍满足拆分条件,若否,则执行当前任务;若是,则继续执行拆分子任务系统,当前拆分出来的子任务对应的任务层级加1;
重复触发模块M3.4直至当前子任务不满足拆分条件后执行当前任务。
优选地,调度服务拉起的每个任务对应一个独立JVM进程;
每个服务器上都部署调度服务和批量任务,调度服务常驻,批量任务执行完即退出;
设置JVM启动参数,动态调整批量所需的内存上限,通过设置任务进程数的上限控制任务并发进程数,其中,所述任务进程数的上限包括单机上限、集群上限。
优选地,所述父级任务的任务层级为0,其中子任务和父任务的任务编号相同;
所述拆分条件决定业务走向且每个层级的任务对应不同的拆分条件。
与现有技术相比,本发明具有如下的有益效果:
1、本发明通过采用调用任务拆分接口方式,调度程序和业务低耦合,提升了在业务形式多变且业务量增长过快时批处理的处理性能,另外拆分的子任务和任务相同任务编号的方式,调度只需配置到任务,解决了目前市场上常见的任务需配置到最细粒度,不支持动态拆分的问题。
2、本发明通过采用进程隔离的模式,每个任务对应一个独立JVM进程,相较于目前市场上常驻进程多个任务写在一个服务中的模式,避免了服务内线程间的资源挤占、高并发导致的线程阻塞、单个线程内存溢出日积月累导致的JVM崩溃的缺陷。
3、本发明通过采用每个服务器上都部署调度,执行完即退出的模式,在任务执行完成时退出JVM。不需要长期占用内存且不需要更多硬件资源,减少了资源浪费。
4、本发明通过采用设置JVM启动参数,动态调整某个批量所需的内存上限,通过设置任务进程数的上限,控制任务并发进程数,能够合理分配任务间资源。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明在批处理作业时,根据银行数据特点将任务按需动态拆分成子任务,一个任务可以根据实际情况进行多级拆分,每个任务间可以通过简单的依赖关系形成串联调度流程,也可以通过复杂的依赖关系形成并行、聚合、子任务拆分等多种调度流程。每个服务器上都配置一套调度平台和批量任务,任务和子任务都可以在任意一台服务器上调度执行。
实施例一
根据本发明提供的一种分布式批量任务调度方法,包括:
步骤S1:获取平台前端数据,所述平台前端数据包括:作业、任务和作业计划表。
步骤S2:读取前端数据中的作业计划表并进行注册,得到作业流水,获取与作业关联的任务生成父级任务流水表。
具体地,步骤S2包括:
步骤S2.1:定时扫描作业计划表,读取可处理的作业计划;
步骤S2.2:根据对应的作业编号读取任务表,获取当前作业下所有的任务并加乐观锁;其中,乐观锁包括更新已执行日期和状态的信息;
步骤S2.3:注册作业和当前作业下的所有任务,生成作业流水表和任务流水表,其中任务流水表中任务为父级任务。
进一步地,在读取作业计划表对满足条件的作业进行注册。其中满足条件的作业包括下述任一一种或多种:1、按天执行:当前时间是否已到达规定的时间点;2、按周执行:当前时间是否已到达规定的周期的对应时间点;3、指定日期:当前时间是否已到达当月对应日期的时间点;4、循环执行:a、当前时间是否在循环时间窗口的一个时间段,b、当前时间距该作业上次执行结束时间是否已超过循环间隔。
步骤S3:扫描所述任务流水表,获取可执行的任务并加乐观锁,调用任务执行方法执行任务。步骤S3包括:
步骤S3.1:定时扫描任务流水表,读取任务流水表中可执行的任务并对所述可执行的任务加乐观锁,加锁成功后触发步骤S3.2;
步骤S3.2:检查所述可执行的任务对应的任务执行条件,从而进入任务的执行方法,若执行方法为任务执行,则执行任务;若执行方法为拆分子任务,则触发步骤S3.3;
步骤S3.3:应用程序依据实际业务情景定义拆分依据,平台根据设定的拆分依据,对任务进行拆分,将一个父级任务拆分成多个层级为1的子任务;
步骤S3.4:判断当前层级的子任务是否仍满足拆分条件,若否,则执行当前任务;若是,则继续执行拆分子任务方法,当前拆分出来的子任务对应的任务层级加1;
重复触发步骤S3.4直至当前子任务不满足拆分条件后执行当前任务。
具体地,所述父级任务的任务层级为0,其中子任务和父任务的任务编号相同;所述拆分条件决定业务走向且每个层级的任务对应不同的拆分条件。例如,1、是否需要拆分;2、按哪项业务属性拆分。比如现有1亿条数据待处理,第一级任务拆分条件:1、必须拆分;2、按业务属性“所属城市”拆分。第二级任务拆分条件:1、如果“所属城市”数据量大于1000万则进行拆分,否则不拆分;2、根据业务属性“数据导入日期”拆分。以此类推。通过此方法调度只需配置到任务,解决了目前市场上常见的任务需配置到最细粒度,不支持动态拆分的问题。
本发明通过采用调用任务拆分接口方式,调度程序和业务低耦合。框架提供任务拆分接口,应用程序可根据实际业务情景自定义拆分依据,多层拆分,支持任务、子任务并行调度,实现可跨机、高并发的分布式批处理。有效的解决了兴业银行业务形式多变、业务量增长过快,批处理处理性能下降的问题。区别于一般的数据处理类系统常用的调度平台或框架,比如Control-m。
进一步的,本发明调度服务拉起的每个任务对应一个独立JVM进程。通过采用进程隔离的模式,每个任务对应一个独立JVM(Java虚拟机,Java Virtual Machine)进程,相较于目前市场上常驻进程多个任务写在一个服务中的模式,避免了服务内线程间的资源挤占、高并发导致的线程阻塞、单个线程内存溢出日积月累导致的JVM崩溃等缺陷。
每个服务器上都部署调度服务和批量任务,调度服务常驻,批量任务执行完即退出。相较于微服务模式的一个或多个任务一个服务,一个服务对应一个常驻进程,解决了常驻进程需要长期占有一定范围的内存,部署时需要更多硬件资源的问题。
设置JVM启动参数,动态调整批量所需的内存上限,通过设置任务进程数的上限控制任务并发进程数,其中,所述任务进程数的上限包括单机上限、集群上限。通过此方法可以(1)合理分配任务间资源,解决了目前市场上常见的因资源分不合理数据量超过临界值导致进程OOM的问题。具体地,设置JVM启动参数包含以下参数项:通过“-Xms<size>”设置初始Java堆大小;通过“-Xmx<size>”设置最大Java堆大小;通过“-Xmn<size>”设置年轻代大小,年轻代包含eden区+2个survivor区。
实施例二
本发明还提供了一种分布式批量任务调度系统,本领域技术人员可以通过执行所述分布式批量任务调度方法的步骤流程实现所述分布式批量任务调度系统,即可以将所述分布式批量任务调度方法理解为所述分布式批量任务调度系统的优选实施方式。
根据本发明提供的一种分布式批量任务调度系统,包括:
模块M1:获取平台前端数据,所述平台前端数据包括:作业、任务和作业计划表。
模块M2:读取前端数据中的作业计划表并进行注册,得到作业流水,获取与作业关联的任务生成父级任务流水表。模块M2包括:模块M2.1:定时扫描作业计划表,读取可处理的作业计划;模块M2.2:根据对应的作业编号读取任务表,获取当前作业下所有的任务并加乐观锁;其中,乐观锁包括更新已执行日期和状态的信息;模块M2.3:注册作业和当前作业下的所有任务,生成作业流水表和任务流水表,其中任务流水表中任务为父级任务。
模块M3:扫描所述任务流水表,获取可执行的任务并加乐观锁,调用任务执行方法执行任务。模块M3包括:模块M3.1:定时扫描任务流水表,读取任务流水表中可执行的任务并对所述可执行的任务加乐观锁,加锁成功后触发模块M3.2;模块M3.2:检查所述可执行的任务对应的任务执行条件,从而进入任务的执行系统,若执行系统为任务执行,则执行任务;若执行系统为拆分子任务,则触发模块M3.3;模块M3.3:应用程序依据实际业务情景定义拆分依据,平台根据设定的拆分依据,对任务进行拆分,将一个父级任务拆分成多个层级为1的子任务;模块M3.4:判断当前层级的子任务是否仍满足拆分条件,若否,则执行当前任务;若是,则继续执行拆分子任务系统,当前拆分出来的子任务对应的任务层级加1;重复触发模块M3.4直至当前子任务不满足拆分条件后执行当前任务。
其中,父级任务的任务层级为0,其中子任务和父任务的任务编号相同,所述拆分条件决定业务走向且每个层级的任务对应不同的拆分条件。
进一步地,本发明调度服务拉起的每个任务对应一个独立JVM进程;每个服务器上都部署调度服务和批量任务,调度服务常驻,批量任务执行完即退出;设置JVM启动参数,动态调整批量所需的内存上限,通过设置任务进程数的上限控制任务并发进程数,其中,所述任务进程数的上限包括单机上限、集群上限。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种分布式批量任务调度方法,其特征在于,包括:
步骤S1:获取平台前端数据;
步骤S2:读取前端数据中的作业计划表并进行注册,得到作业流水,获取与作业关联的任务生成父级任务流水表;
步骤S3:扫描所述任务流水表,获取可执行的任务并加乐观锁,调用任务执行方法执行任务;
所述平台前端数据包括:作业、任务和作业计划表。
2.根据权利要求1所述的分布式批量任务调度方法,其特征在于,步骤S2包括:
步骤S2.1:定时扫描作业计划表,读取可处理的作业计划;
步骤S2.2:根据对应的作业编号读取任务表,获取当前作业下所有的任务并加乐观锁;其中,乐观锁包括更新已执行日期和状态的信息;
步骤S2.3:注册作业和当前作业下的所有任务,生成作业流水表和任务流水表,其中任务流水表中任务为父级任务。
3.根据权利要求1所述的分布式批量任务调度方法,其特征在于,步骤S3包括:
步骤S3.1:定时扫描任务流水表,读取任务流水表中可执行的任务并对所述可执行的任务加乐观锁,加锁成功后触发步骤S3.2;
步骤S3.2:检查所述可执行的任务对应的任务执行条件,从而进入任务的执行方法,若执行方法为任务执行,则执行任务;若执行方法为拆分子任务,则触发步骤S3.3;
步骤S3.3:应用程序依据实际业务情景定义拆分依据,平台根据设定的拆分依据,对任务进行拆分,将一个父级任务拆分成多个层级为1的子任务;
步骤S3.4:判断当前层级的子任务是否仍满足拆分条件,若否,则执行当前任务;若是,则继续执行拆分子任务方法,当前拆分出来的子任务对应的任务层级加1;
重复触发步骤S3.4直至当前子任务不满足拆分条件后执行当前任务。
4.根据权利要求1所述的分布式批量任务调度方法,其特征在于,调度服务拉起的每个任务对应一个独立JVM进程;
每个服务器上都部署调度服务和批量任务,调度服务常驻,批量任务执行完即退出;
设置JVM启动参数,动态调整批量所需的内存上限,通过设置任务进程数的上限控制任务并发进程数,其中,所述任务进程数的上限包括单机上限、集群上限。
5.根据权利要求3所述的分布式批量任务调度方法,其特征在于,所述父级任务的任务层级为0,其中子任务和父任务的任务编号相同;
所述拆分条件决定业务走向且每个层级的任务对应不同的拆分条件。
6.一种分布式批量任务调度系统,其特征在于,包括:
模块M1:获取平台前端数据;
模块M2:读取前端数据中的作业计划表并进行注册,得到作业流水,获取与作业关联的任务生成父级任务流水表;
模块M3:扫描所述任务流水表,获取可执行的任务并加乐观锁,调用任务执行方法执行任务;
所述平台前端数据包括:作业、任务和作业计划表。
7.根据权利要求6所述的分布式批量任务调度系统,其特征在于,模块M2包括:
模块M2.1:定时扫描作业计划表,读取可处理的作业计划;
模块M2.2:根据对应的作业编号读取任务表,获取当前作业下所有的任务并加乐观锁;其中,乐观锁包括更新已执行日期和状态的信息;
模块M2.3:注册作业和当前作业下的所有任务,生成作业流水表和任务流水表,其中任务流水表中任务为父级任务。
8.根据权利要求6所述的分布式批量任务调度系统,其特征在于,模块M3包括:
模块M3.1:定时扫描任务流水表,读取任务流水表中可执行的任务并对所述可执行的任务加乐观锁,加锁成功后触发模块M3.2;
模块M3.2:检查所述可执行的任务对应的任务执行条件,从而进入任务的执行系统,若执行系统为任务执行,则执行任务;若执行系统为拆分子任务,则触发模块M3.3;
模块M3.3:应用程序依据实际业务情景定义拆分依据,平台根据设定的拆分依据,对任务进行拆分,将一个父级任务拆分成多个层级为1的子任务;
模块M3.4:判断当前层级的子任务是否仍满足拆分条件,若否,则执行当前任务;若是,则继续执行拆分子任务系统,当前拆分出来的子任务对应的任务层级加1;
重复触发模块M3.4直至当前子任务不满足拆分条件后执行当前任务。
9.根据权利要求6所述的分布式批量任务调度系统,其特征在于,调度服务拉起的每个任务对应一个独立JVM进程;
每个服务器上都部署调度服务和批量任务,调度服务常驻,批量任务执行完即退出;
设置JVM启动参数,动态调整批量所需的内存上限,通过设置任务进程数的上限控制任务并发进程数,其中,所述任务进程数的上限包括单机上限、集群上限。
10.根据权利要求8所述的分布式批量任务调度系统,其特征在于,所述父级任务的任务层级为0,其中子任务和父任务的任务编号相同;
所述拆分条件决定业务走向且每个层级的任务对应不同的拆分条件。
CN202211329286.9A 2022-10-27 2022-10-27 分布式批量任务调度方法及系统 Pending CN115469989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211329286.9A CN115469989A (zh) 2022-10-27 2022-10-27 分布式批量任务调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211329286.9A CN115469989A (zh) 2022-10-27 2022-10-27 分布式批量任务调度方法及系统

Publications (1)

Publication Number Publication Date
CN115469989A true CN115469989A (zh) 2022-12-13

Family

ID=84337393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211329286.9A Pending CN115469989A (zh) 2022-10-27 2022-10-27 分布式批量任务调度方法及系统

Country Status (1)

Country Link
CN (1) CN115469989A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302396A (zh) * 2023-02-13 2023-06-23 上海浦东发展银行股份有限公司 一种基于有向无环的分布式任务调度方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302396A (zh) * 2023-02-13 2023-06-23 上海浦东发展银行股份有限公司 一种基于有向无环的分布式任务调度方法
CN116302396B (zh) * 2023-02-13 2023-09-01 上海浦东发展银行股份有限公司 一种基于有向无环的分布式任务调度方法

Similar Documents

Publication Publication Date Title
WO2020211579A1 (zh) 一种基于分布式批量处理系统的处理方法、装置及系统
CN109783255B (zh) 数据解析分发装置及高并发数据处理方法
US9858115B2 (en) Task scheduling method for dispatching tasks based on computing power of different processor cores in heterogeneous multi-core processor system and related non-transitory computer readable medium
CN105700937A (zh) 多线程任务处理方法和装置
CN113535367A (zh) 任务调度方法及相关装置
CN101135981A (zh) 一种实现批量报表生成的方法及装置
CN105786603B (zh) 一种基于分布式的高并发业务处理系统及方法
US9529625B2 (en) Method and system for providing stack memory management in real-time operating systems
CN109471711B (zh) 一种任务处理的方法及装置
CN108268546B (zh) 一种优化数据库的方法及装置
CN115469989A (zh) 分布式批量任务调度方法及系统
CN107277171A (zh) 一种基于quartz的可定制消息发送方法
CN105068873A (zh) 一种异构虚拟资源任务调度方法及系统
CN111274021A (zh) 一种gpu集群任务调度分配方法
CN112380030A (zh) 主任务处理方法、装置、服务器和存储介质
CN111400015A (zh) 一种任务调度方法及装置
CN112860401A (zh) 任务调度方法、装置、电子设备和存储介质
CN116069461A (zh) 动态分片的自适应任务调度方法和系统
CN114816703A (zh) 一种任务处理方法、装置、设备及介质
CN112286631B (zh) 一种Kubernetes资源调度方法、装置与电子设备
CN110046809B (zh) 作业调度方法及装置
CN113806055A (zh) 一种轻量级任务调度方法、系统、装置及存储介质
CN114035928A (zh) 分布式任务分配处理方法
CN114116245A (zh) 数据处理方法、计算机设备和存储介质
CN102541648A (zh) 一种用于动态调度批处理任务的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination