CN115220887A - 调度信息的处理方法、任务处理系统、处理器和电子设备 - Google Patents
调度信息的处理方法、任务处理系统、处理器和电子设备 Download PDFInfo
- Publication number
- CN115220887A CN115220887A CN202210681216.3A CN202210681216A CN115220887A CN 115220887 A CN115220887 A CN 115220887A CN 202210681216 A CN202210681216 A CN 202210681216A CN 115220887 A CN115220887 A CN 115220887A
- Authority
- CN
- China
- Prior art keywords
- job
- processed
- scheduling information
- information
- application program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种调度信息的处理方法、任务处理系统、处理器和电子设备。涉及金融科技领域,该方法包括:确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息;确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件;在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息。通过本申请,解决了相关技术中调度信息的处理效率低的问题。
Description
技术领域
本申请涉及金融科技领域,具体而言,涉及一种调度信息的处理方法、任务处理系统、处理器和电子设备。
背景技术
在金融科技领域中,数据爆炸式增长,数据加工处理体系庞大,且基于多个数据存储平台,做到不同平台数据共享,统一调度处理是比较困难的,因此金融机构需要一种基于各数据存储平原并且资源隔离的统一调度方法。
相关技术中,批量调度方法是基于主动获取或被动推送各应用(终端)调度信息,调度系统对调度信息进行处理后将结果反馈到各自应用(终端),由各应用处理待处理作业,这种方式在一定程度上降低了调度系统的工作负载,但是增加了各应用间的交互难度,并且降低了效率。
针对相关技术中调度信息的处理效率低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种调度信息的处理方法、任务处理系统、处理器和电子设备,以解决相关技术中调度信息的处理效率低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种调度信息的处理方法。该方法包括:确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息;确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件;在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息。
可选地,根据作业信息和调度信息判断待处理作业是否满足运行条件包括:判断待处理作业在运行前是否需要调用其他作业的处理结果,其中,作业是与待处理作业不同的作业;在待处理作业在运行前不需要调用其他作业的处理结果的情况下,判断与待处理作业对应的待调用数据是否存在其他作业需要调用待调用数据,并在存在其他作业调用待调用数据的情况下,判断待处理作业是否为优先级最高的作业;在目标应用程序为优先级最高的应用程序的情况下,确定待处理作业满足运行条件。
可选地,在判断待处理作业在运行前是否需要调用其他作业的处理结果之前,该方法还包括:判断目标应用程序空余的运行资源是否大于等于执行待处理作业所需的运行资源;在空余的运行资源大于等于执行待处理作业所需的运行资源的情况下,确定待处理作业和目标应用程序当前执行的任务的总数量,并判断总数量是否大于预设数量,其中,预设数量为目标应用程序的并发处理作业的数量;在总数量小于等于预设数量的情况下,执行判断待处理作业在运行前是否需要调用其他作业的处理结果的步骤。
可选地,在从目标数据库获取目标应用程序的调度信息之前,该方法还包括:获取多个应用程序的应用信息,其中,应用信息至少包括以下之一:配置信息或运行脚本;解析多个应用程序的应用信息,得到多个初始调度信息;将多个初始调度信息分别转换为预设格式的信息,得到多个调度信息,并将多个调度信息存储至目标数据库中。
可选地,根据执行结果更新目标数据库中的调度信息包括:根据执行结果生成目标调用信息,并确定执行结果的归属对象;在执行结果的归属对象为目标应用程序的情况下,将目标调用信息确定为目标应用程序的调度信息;在执行结果的归属对象为第一应用程序的情况下,将目标调用信息确定为第一应用程序的调度信息,其中,第一应用程序是目标应用程序以外的应用程序;在执行结果的归属对象包含目标应用程序和第一应用程序的情况下,将目标调用信息分别确定为目标应用程序的调度信息以及第一应用程序的调度信息。
可选地,在将待处理作业存储至队列中之后,该方法还包括:在待处理作业被执行的过程中,若目标应用程序与第一应用程序存在交互行为,生成数据同步作业,其中,第一应用程序是目标应用程序以外的应用程序,数据同步作业用于实现目标应用程序和第一应用程序之间的数据交互。
可选地,在根据作业信息和调度信息判断待处理作业是否满足运行条件之后,该方法还包括:每隔预设时长重新确定待处理作业的作业信息,并重新从目标数据库获取目标应用程序的调度信息,根据重新获取的作业信息和调度信息判断待处理作业是否满足运行条件,直至判断次数达到预设次数,或者,直至待处理作业满足运行条件。
可选地,队列的载体为文件服务器或数据库。
为了实现上述目的,根据本申请的另一方面,提供了一种任务处理系统,其特征在于,包括:目标数据库,用于存储多个应用程序的调度信息,其中,调度信息为应用程序在执行作业时的数据调用信息;调度信息处理单元,与目标数据库通信连接,用于从目标数据库中获取待处理任务的调度信息,根据调度信息和待处理任务的作业信息判断待处理作业是否满足运行条件,在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;作业执行单元,用于从队列获取待处理作业,并执行待处理作业,得到执行结果。
为了实现上述目的,根据本申请的另一方面,提供了一种调度信息的处理装置。该装置包括:第一确定单元,用于确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息;第二确定单元,用于确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件;存储单元,用于在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;检测单元,用于在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息。
通过本申请,采用以下步骤:确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息;确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件;在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息,解决了相关技术中调度信息的处理效率低的问题。通过将调度信信息的处理和作业运行分离,进而达到了提高调度信息的处理效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的调度信息的处理方法的流程图;
图2是根据本申请实施例提供的任务处理系统的示意图;
图3是根据本申请实施例提供的调度信息处理单元的结构示意图;
图4是根据本申请实施例提供的作业执行单元的结构示意图;
图5是根据本申请实施例提供的另一种调度信息的处理方法的流程图;
图6是根据本申请实施例提供的调度信息的处理装置的示意图;
图7是根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
下面结合优选的实施步骤对本发明进行说明,图1是根据本申请实施例提供的调度信息的处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息。
具体地,待处理作业可以为应用中需要完成的配置更新等任务,目标应用程序可以为银行中正在使用得应用,目标数据库为调度信息的处理系统中的目标数据库,目标应用程序在更新配置时需要获取目标数据库中的调度信息,依据调度信息更新配置,调度信息可以包括依赖关系,优先级,并发比,用户信息等,依赖关系是m调度信息在被应用时需要获得n调度信息应用后的部分参数,因此m调度信息和n调度信息有依赖关系,优先级是x调度信息和y调度信息同时需要调用同一参数,这时需要比较x调度信息和y调度信息的优先级,并发比是应用调度信息的应用程序能够同时处理调度信息对应的作业的量,用户信息是指调度信息对应的作业在运行时需要的资源。
步骤S102,确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件。
具体地,作业信息可以为目标应用程序中待处理作业的状态信息,结合状态信息和调度信息判断作业是否满足运行条件。
例如,A应用中的a作业跟b作业有依赖关系,a作业调用的参数中需要在b作业中先进行处理才能调用,在b作业未处理时a作业不满足运行条件,a作业跟A应用中的c作业需要调用同一个参数,但是c作业的优先级比a作业高,a作业和c作业同时判断运行条件时,a作业不满足运行条件,c作业满足运行条件,A应用的并发比为1比5,也即A应用可以同时处理5个作业,当A应用正在处理5个作业时,a作业不满足运行条件,A应用中的d作业需要用户提供的用户信息才能运行,若用户提供的用户信息缺失时,d作业不满足运行条件,a作业今天已经运行过的情况下,a作业的状态显示今日已处理,a作业每日可运行一次,此时a作业不满足运行条件。
步骤S103,在待处理作业满足运行条件的情况下,将待处理作业存储至队列中。
具体地,队列即为作业的待运行队列,如果待处理作业满足条件,就将满足条件的作业放入待运行队列,等待作业运行子系统处理,待运行队列可通过服务器文件或调度目标数据库数据等方式实现。
步骤S104,在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息。
具体地,按照待处理作业进入队列的先后顺序依次检测待处理作业是否被执行,若被执行,则依据执行后的执行结果更新目标数据库中的对应作业的调度信息。
本申请实施例提供的调度信息的处理方法,通过确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息;确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件;在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息,解决了相关技术中调度信息的处理效率低的问题。通过将调度信信息的处理和作业运行分离,进而达到了提高调度信息的处理效率的效果。
在获取调度信息后,需要通过作业信息和调度信息判断作业是否满足运行条件,可选地,在本申请实施例提供的调度信息的处理方法中,根据作业信息和调度信息判断待处理作业是否满足运行条件包括:判断待处理作业在运行前是否需要调用其他作业的处理结果,其中,作业是与待处理作业不同的作业;在待处理作业在运行前不需要调用其他作业的处理结果的情况下,判断与待处理作业对应的待调用数据是否存在其他作业需要调用待调用数据,并在存在其他作业调用待调用数据的情况下,判断待处理作业是否为优先级最高的作业;在目标应用程序为优先级最高的应用程序的情况下,确定待处理作业满足运行条件。
例如,A应用的a作业是待处理作业,在将a作业加入待处理队列之前,需要判断a作业运行时需要调用的参数是否来自其他待处理作业的处理结果,如果需要则a作业不满足运行条件,如果不需要则证明a作业的运行不存在依赖关系,在不需要的调用其他待处理作业的处理结果的情况下,还需要判断a作业需要调用的x参数是否有其他作业也在调用,如果b作业也需要调用x参数,此时需要判断a作业和b作业的优先级谁更高,先处理优先级高的待处理作业。通过在作业处理前判断待处理作业是否满足运行条件可以高效的处理待处理作业,提高调度信息的利用效率。
确定待处理作业满足运行条件之前,还需要判断目标应用程序的作业处理情况,可选地,在本申请实施例提供的调度信息的处理方法中,在判断待处理作业在运行前是否需要调用其他作业的处理结果之前,该方法还包括:判断目标应用程序空余的运行资源是否大于等于执行待处理作业所需的运行资源;在空余的运行资源大于等于执行待处理作业所需的运行资源的情况下,确定待处理作业和目标应用程序当前执行的任务的总数量,并判断总数量是否大于预设数量,其中,预设数量为目标应用程序的并发处理作业的数量;在总数量小于等于预设数量的情况下,执行判断待处理作业在运行前是否需要调用其他作业的处理结果的步骤。
例如,目标应用程序为A应用,待处理作业为a作业,a作业运行需要的运行资源为50G,A应用当前可提供的运行资源为30G,此时a作业无法被运行,在A应用运行资源足够的情况下,还需要判断A应用当前处理的作业数量是否达到A应用上限,若A应用同时运行作业的上限数量为5个,在A应用正在运行的作业数量为5个的情况下,a作业也无法被运行。通过判断目标应用的作业运行情况,可以避免作业运行冲突。
在获取调度信息之前,需要提前配置好目标数据库,可选地,在本申请实施例提供的调度信息的处理方法中,在从目标数据库获取目标应用程序的调度信息之前,该方法还包括:获取多个应用程序的应用信息,其中,应用信息至少包括以下之一:配置信息或运行脚本;解析多个应用程序的应用信息,得到多个初始调度信息;将多个初始调度信息分别转换为预设格式的信息,得到多个调度信息,并将多个调度信息存储至目标数据库中。
具体地,多个应用程序可以为银行中需要进行调度信息的A应用、B应用、C应用等多个应用,从不同应用中获取调度信息的方式不一样,例如在A应用中解析配置信息可以获得调度信息中需要的参数,在B应用中需要解析运行脚本获得需要的调度参数,在获得不同应用的调度参数后,目标数据库将这些调度参数转换为各应用均可解析的调度信息,并将这些调度信息存储在目标数据库中。通过在获取调度信息前配置好目标数据库,可以高效的应用调度信息,增强不同应用间的交互。
在运行完调度信息对应的作业后,通过确定作业执行结果的归属对象,从而对调度信息进行更新,可选地,在本申请实施例提供的调度信息的处理方法中,根据执行结果更新目标数据库中的调度信息包括:根据执行结果生成目标调用信息,并确定执行结果的归属对象;在执行结果的归属对象为目标应用程序的情况下,将目标调用信息确定为目标应用程序的调度信息;在执行结果的归属对象为第一应用程序的情况下,将目标调用信息确定为第一应用程序的调度信息,其中,第一应用程序是目标应用程序以外的应用程序;在执行结果的归属对象包含目标应用程序和第一应用程序的情况下,将目标调用信息分别确定为目标应用程序的调度信息以及第一应用程序的调度信息。
具体地,执行结果可以为更新后的x参数,目标调用信息可以为包含更新后的x参数的调用信息,目标应用程序可以为A应用,第一应用程序可以为除A应用以外的其他应用,每个应用都有各自的调度信息,存储在同一个目标数据库中,为各应用交互提供保障。每个应用都有一套完整的调度信息,实现应用间的资源隔离。调度信息分两部分:一部分是应用自己的调度信息,一部分是应用与其他应用交互的调度信息。由于有应用交互,为了实现隔离,将交互产生的调度数据按最终数据归属调度信息,例如A应用调用B应用的数据进行批量处理,处理的结果归属于A应用,则A、B交互的调度信息归属于A应用。如果A、B应用相互调用且结果分别归属于A、B应用,则A、B应用相互调用的调度信息在各自调度信息里都存储一份。通过确定各自应用的调度信息归属可以更高效的处理调度信息,避免调度信息的存储出现混淆。
在作业运行的过程中还存在产生交互数据的情况,可选地,在本申请实施例提供的调度信息的处理方法中,在将待处理作业存储至队列中之后,该方法还包括:在待处理作业被执行的过程中,若目标应用程序与第一应用程序存在交互行为,生成数据同步作业,其中,第一应用程序是目标应用程序以外的应用程序,数据同步作业用于实现目标应用程序和第一应用程序之间的数据交互。
具体地,各应用有实际数据交互,将同步生成数据源同步作业,实现各应用实体交互,例如A应用运行的作业需要调用B应用的数据,这时就会产生数据交互,交互的数据存储在不同于调度信息的存储目标数据库之外的实体目标数据库。通过实现不同应用间的数据交互,可以使调度信息的处理更高效,减少数据的处理步骤。
调度信息会被定时轮询判断是否需要处理,可选地,在本申请实施例提供的调度信息的处理方法中,在根据作业信息和调度信息判断待处理作业是否满足运行条件之后,该方法还包括:每隔预设时长重新确定待处理作业的作业信息,并重新从目标数据库获取目标应用程序的调度信息,根据重新获取的作业信息和调度信息判断待处理作业是否满足运行条件,直至判断次数达到预设次数,或者,直至待处理作业满足运行条件。
具体地,预设时长可以设为一天,例如A应用的a作业的调度信息需要每隔一天处理一次,预设次数可以为一次,例如A应用的b作业一天只可以运行一次。通过设置定时轮询调度信息可以将调度信息的管理自动化,提高调度信息的处理效率。
可选地,在本申请实施例提供的调度信息的处理方法中,队列的载体为文件服务器或数据库。
具体地,作业的待处理队列可以通过文件服务器搭建或者在目标数据库中建立。
图2是根据本申请实施例提供的任务处理系统的示意图。如图2所示,该系统包括:
目标数据库201,用于存储多个应用程序的调度信息,其中,调度信息为应用程序在执行作业时的数据调用信息。
具体地,目标数据库存储着多个应用程序的调度信息,在调度信息被调用之前,目标数据库提前获取多个应用程序的配置信息或运行脚本,并依据配置信息或运行脚本转换为各应用可以识别的调度信息。
调度信息处理单元202,与目标数据库通信连接,用于从目标数据库中获取待处理任务的调度信息,根据调度信息和待处理任务的作业信息判断待处理作业是否满足运行条件,在待处理作业满足运行条件的情况下,将待处理作业存储至队列中。
具体地,调度信息处理单元202读取从目标数据库201获取的调度信息,并判断作业是否满足运行条件,如果满足则放入作业执行单元203中的待处理队列,作业不满足运行条件则等待下次判断。
作业执行单元203,用于从队列获取待处理作业,并执行待处理作业,得到执行结果。
具体地,作业执行单元203通过读取待处理队列信息,根据资源情况运行待处理队列作业,运行结束作业更新调度信息。进入循环等待下一次被调度信息处理模块处理。
通过目标数据库201,存储多个应用程序的调度信息,其中,调度信息为应用程序在执行作业时的数据调用信息;调度信息处理单元202,与目标数据库通信连接,从目标数据库中获取待处理任务的调度信息,根据调度信息和待处理任务的作业信息判断待处理作业是否满足运行条件,在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;作业执行单元203,从队列获取待处理作业,并执行待处理作业,得到执行结果,解决了相关技术中调度信息的处理效率低的问题。通过将调度信息的处理和运行作业分离,提升了调度信息的使用效率。
图3是根据本申请实施例提供的调度信息处理单元202的结构示意图。如图3所示,该单元包括:
应用交互处理模块301,用于解析各应用的配置信息或运行脚本,并将解析到的信息配置到目标数据库,从而使目标数据库能够存储各应用的调度信息,通过将各应用的配置信息或运行脚本转换为各应用可识别的调度信息,从而实现各应用的逻辑交互。
调度信息处理模块302,用于通过各类作业的配置及状态信息判断作业是否满足运行条件,在作业的配置及状态信息显示作业无依赖关系且作业优先级为最高时,说明该作业满足运行条件,在满足条件的情况下将作业放入待运行队列,等待作业运行系统处理。
数据同步模块303,用于实现各应用实体数据同步,在各应用有实体数据交互的情况下,生成数据源同步作业,在调度信息对应的作业需要调用该执行作业的应用以外的其他应用的数据时,通过生成数据源同步作业,将其他应用的数据存储至实体数据库,执行该作业的应用通过获取实体数据库中的其他应用的数据执行该作业,从而实现各应用实体交互。
调度信息存储模块304,用于存储从调度目标数据库获取的调度信息,并实现应用交互处理单元301、调度信息处理单元302和数据同步单元303之间的调度信息的交互。
图4是根据本申请实施例提供的作业执行单元203的结构示意图。如图4所示,该单元包括:
待处理作业模块401,用于存储由调度信息处理模块302发送的待处理作业,各应用在待处理作业模块401中获取各应用对应的待处理作业后进行执行,依据各应用自身的并发比运行待处理作业,未被获取的待处理作业在待处理作业模块401等待新一轮的处理。
数据同步作业模块402,用于运行由数据同步模块303发送的数据源同步作业,通过调用实体数据库存储的其他应用的数据,使待处理作业在对应的应用中执行。
图5是根据本申请实施例提供的另一种调度信息的处理方法的流程图,应用于本申请实施例中的任务处理系统中。如图5所示,该流程包括:
首先,任务处理系统开始运行。
其次,调度信息处理单元读取目标数据库中的调度信息,并判断调度信息对应的作业是否满足运行条件,如果满足则放入作业执行单元中的待处理队列,不满足等待下次判断。
进一步的,作业执行单元通过读取待处理队列信息,根据资源情况运行待处理队列中的作业。
最后,运行结束作业更新调度信息。调度信息进入循环等待下一次被调度信息处理单元处理。
通过本申请实施例提供的调度信息处理单元可以实现多应用间的调度信息交互,以及多应用间数据共享,将调度信息处理系统与作业运行系统分离开,提升了调度信息处理系统的负载能力,并提高了调度信息的处理效率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种调度信息的处理装置,需要说明的是,本申请实施例的调度信息的处理装置可以用于执行本申请实施例所提供的用于调度信息的处理方法。以下对本申请实施例提供的调度信息的处理装置进行介绍。
图6是根据本申请实施例提供的调度信息的处理装置的示意图。如图6所示,该装置包括:
第一确定单元10,用于确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息。
第二确定单元20,用于确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件。
存储单元30,用于在待处理作业满足运行条件的情况下,将待处理作业存储至队列中。
检测单元40,用于在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息。
本申请实施例提供的调度信息的处理装置,通过第一确定单元10,确定待处理作业对应的目标应用程序,并从目标数据库获取目标应用程序的调度信息,其中,目标数据库用于存储多个应用程序的调度信息,调度信息为应用程序在执行作业时的数据调用信息;第二确定单元20,确定待处理作业的作业信息,并根据作业信息和调度信息判断待处理作业是否满足运行条件;存储单元30,在待处理作业满足运行条件的情况下,将待处理作业存储至队列中;检测单元40,在检测到队列中的待处理作业被执行的情况下,获取执行结果,根据执行结果更新目标数据库中的调度信息,解决了相关技术中调度信息的处理效率低的问题。通过将调度信信息的处理和作业运行分离,进而达到了提高调度信息的处理效率的效果。
可选地,在本申请实施例提供的调度信息的处理装置中,第二确定单元20包括:第一判断模块,用于判断待处理作业在运行前是否需要调用其他作业的处理结果,其中,作业是与待处理作业不同的作业;第一确定模块,用于在待处理作业在运行前不需要调用其他作业的处理结果的情况下,判断与待处理作业对应的待调用数据是否存在其他作业需要调用待调用数据,并在存在其他作业调用待调用数据的情况下,判断待处理作业是否为优先级最高的作业;第二确定模块,用于在目标应用程序为优先级最高的应用程序的情况下,确定待处理作业满足运行条件。
可选地,第二确定单元20还包括:第二判断模块,用于判断目标应用程序空余的运行资源是否大于等于执行待处理作业所需的运行资源;第三确定模块,用于在空余的运行资源大于等于执行待处理作业所需的运行资源的情况下,确定待处理作业和目标应用程序当前执行的任务的总数量,并判断总数量是否大于预设数量,其中,预设数量为目标应用程序的并发处理作业的数量;执行模块,用于在总数量小于等于预设数量的情况下,执行判断待处理作业在运行前是否需要调用其他作业的处理结果的步骤。
可选地,该装置还包括:获取单元,用于获取多个应用程序的应用信息,其中,应用信息至少包括以下之一:配置信息或运行脚本;解析单元,用于解析多个应用程序的应用信息,得到多个初始调度信息;转换单元,用于将多个初始调度信息分别转换为预设格式的信息,得到多个调度信息,并将多个调度信息存储至目标数据库中。
可选地,检测单元40包括:生成模块,用于根据执行结果生成目标调用信息,并确定执行结果的归属对象;第四确定模块,用于在执行结果的归属对象为目标应用程序的情况下,将目标调用信息确定为目标应用程序的调度信息;第五确定模块,用于在执行结果的归属对象为第一应用程序的情况下,将目标调用信息确定为第一应用程序的调度信息,其中,第一应用程序是目标应用程序以外的应用程序;第六确定模块,用于在执行结果的归属对象包含目标应用程序和第一应用程序的情况下,将目标调用信息分别确定为目标应用程序的调度信息以及第一应用程序的调度信息。
可选地,该装置还包括:同步单元,用在待处理作业被执行的过程中,若目标应用程序与第一应用程序存在交互行为,生成数据同步作业,其中,第一应用程序是目标应用程序以外的应用程序,数据同步作业用于实现目标应用程序和第一应用程序之间的数据交互。
可选地,该装置还包括:判断单元,用于每隔预设时长重新确定待处理作业的作业信息,并重新从目标数据库获取目标应用程序的调度信息,根据重新获取的作业信息和调度信息判断待处理作业是否满足运行条件,直至判断次数达到预设次数,或者,直至待处理作业满足运行条件。
可选地,队列的载体为文件服务器或数据库。
调度信息的处理装置包括处理器和存储器,上述单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高调度信息的处理效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现调度信息的处理方法。
本发明实施例提供了一种处理器,处理器用于运行程序,其中,程序运行时执行调度信息的处理方法。
如图7所示,本申请实施例还提供了一种电子设备,电子设备701包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:基于区块链的状态数据的处理。本文中的设备可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种调度信息的处理方法,其特征在于,包括:
确定待处理作业对应的目标应用程序,并从目标数据库获取所述目标应用程序的调度信息,其中,所述目标数据库用于存储多个应用程序的调度信息,所述调度信息为应用程序在执行作业时的数据调用信息;
确定所述待处理作业的作业信息,并根据所述作业信息和所述调度信息判断所述待处理作业是否满足运行条件;
在所述待处理作业满足运行条件的情况下,将所述待处理作业存储至队列中;
在检测到所述队列中的所述待处理作业被执行的情况下,获取执行结果,根据所述执行结果更新所述目标数据库中的调度信息。
2.根据权利要求1所述的方法,其特征在于,根据所述作业信息和所述调度信息判断所述待处理作业是否满足运行条件包括:
判断所述待处理作业在运行前是否需要调用其他作业的处理结果,其中,所述作业是与所述待处理作业不同的作业;
在所述待处理作业在运行前不需要调用所述其他作业的处理结果的情况下,判断与所述待处理作业对应的待调用数据是否存在其他作业需要调用所述待调用数据,并在存在其他作业调用所述待调用数据的情况下,判断所述待处理作业是否为优先级最高的作业;
在所述目标应用程序为优先级最高的应用程序的情况下,确定所述待处理作业满足所述运行条件。
3.根据权利要求2所述的方法,其特征在于,在判断所述待处理作业在运行前是否需要调用其他作业的处理结果之前,所述方法还包括:
判断所述目标应用程序空余的运行资源是否大于等于执行所述待处理作业所需的运行资源;
在所述空余的运行资源大于等于执行所述待处理作业所需的运行资源的情况下,确定所述待处理作业和所述目标应用程序当前执行的任务的总数量,并判断所述总数量是否大于预设数量,其中,所述预设数量为所述目标应用程序的并发处理作业的数量;
在所述总数量小于等于所述预设数量的情况下,执行判断所述待处理作业在运行前是否需要调用其他作业的处理结果的步骤。
4.根据权利要求1所述的方法,其特征在于,在从目标数据库获取所述目标应用程序的调度信息之前,所述方法还包括:
获取所述多个应用程序的应用信息,其中,所述应用信息至少包括以下之一:配置信息或运行脚本;
解析所述多个应用程序的应用信息,得到多个初始调度信息;
将所述多个初始调度信息分别转换为预设格式的信息,得到多个调度信息,并将所述多个调度信息存储至所述目标数据库中。
5.根据权利要求1所述的方法,其特征在于,根据所述执行结果更新所述目标数据库中的调度信息包括:
根据所述执行结果生成目标调用信息,并确定所述执行结果的归属对象;
在所述执行结果的归属对象为所述目标应用程序的情况下,将所述目标调用信息确定为所述目标应用程序的调度信息;
在所述执行结果的归属对象为第一应用程序的情况下,将所述目标调用信息确定为所述第一应用程序的调度信息,其中,所述第一应用程序是所述目标应用程序以外的应用程序;
在所述执行结果的归属对象包含所述目标应用程序和所述第一应用程序的情况下,将所述目标调用信息分别确定为所述目标应用程序的调度信息以及所述第一应用程序的调度信息。
6.根据权利要求1所述的方法,其特征在于,在将所述待处理作业存储至队列中之后,所述方法还包括:
在所述待处理作业被执行的过程中,若所述目标应用程序与第一应用程序存在交互行为,生成数据同步作业,其中,所述第一应用程序是所述目标应用程序以外的应用程序,所述数据同步作业用于实现所述目标应用程序和所述第一应用程序之间的数据交互。
7.根据权利要求1所述的方法,其特征在于,在根据所述作业信息和所述调度信息判断所述待处理作业是否满足运行条件之后,所述方法还包括:
每隔预设时长重新确定所述待处理作业的作业信息,并重新从所述目标数据库获取所述目标应用程序的调度信息,根据重新获取的作业信息和调度信息判断所述待处理作业是否满足所述运行条件,直至判断次数达到预设次数,或者,直至所述待处理作业满足所述运行条件。
8.根据权利要求1所述的方法,其特征在于,所述队列的载体为文件服务器或数据库。
9.一种任务处理系统,其特征在于,包括:
目标数据库,用于存储多个应用程序的调度信息,其中,所述调度信息为应用程序在执行作业时的数据调用信息;
调度信息处理单元,与所述目标数据库通信连接,用于从所述目标数据库中获取待处理任务的所述调度信息,根据所述调度信息和所述待处理任务的作业信息判断所述待处理作业是否满足运行条件,在所述待处理作业满足所述运行条件的情况下,将所述待处理作业存储至队列中;
作业执行单元,用于从所述队列获取所述待处理作业,并执行所述待处理作业,得到执行结果。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至8中任意一项所述的调度信息的处理方法。
11.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至8中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210681216.3A CN115220887A (zh) | 2022-06-16 | 2022-06-16 | 调度信息的处理方法、任务处理系统、处理器和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210681216.3A CN115220887A (zh) | 2022-06-16 | 2022-06-16 | 调度信息的处理方法、任务处理系统、处理器和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115220887A true CN115220887A (zh) | 2022-10-21 |
Family
ID=83607576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210681216.3A Pending CN115220887A (zh) | 2022-06-16 | 2022-06-16 | 调度信息的处理方法、任务处理系统、处理器和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115220887A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116755893A (zh) * | 2023-08-22 | 2023-09-15 | 之江实验室 | 面向深度学习的分布式计算系统的作业调度方法和装置 |
-
2022
- 2022-06-16 CN CN202210681216.3A patent/CN115220887A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116755893A (zh) * | 2023-08-22 | 2023-09-15 | 之江实验室 | 面向深度学习的分布式计算系统的作业调度方法和装置 |
CN116755893B (zh) * | 2023-08-22 | 2023-11-17 | 之江实验室 | 面向深度学习的分布式计算系统的作业调度方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106897206B (zh) | 一种业务测试方法及装置 | |
CN101097527B (zh) | 一种应用进程的流程调度方法及系统 | |
EP3355187A1 (en) | Loading method and device for terminal application (app) | |
CN110471754B (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
KR20150042873A (ko) | 결함 내성 배치 처리 | |
CN110955535A (zh) | 一种多业务请求进程调用fpga设备的方法及相关装置 | |
CN112748993A (zh) | 任务执行方法、装置、存储介质及电子设备 | |
CN111932257A (zh) | 一种区块链并行化处理方法及装置 | |
CN113282649A (zh) | 分布式任务的处理方法、装置和计算机设备 | |
CN111338775B (zh) | 一种执行定时任务的方法及设备 | |
CN115220887A (zh) | 调度信息的处理方法、任务处理系统、处理器和电子设备 | |
WO2019117767A1 (en) | Method, function manager and arrangement for handling function calls | |
CN110764930A (zh) | 基于消息模式的请求或应答处理方法及装置 | |
CN113656180A (zh) | 单元化架构下批量处理文件的系统、方法及相关产品 | |
CN110019260B (zh) | 一种用户数据的更新方法及相关设备 | |
CN107958414B (zh) | 一种清除cics系统长交易的方法及系统 | |
CN110968406B (zh) | 处理任务的方法、装置、存储介质和处理器 | |
CN114791884A (zh) | 测试环境的构建方法、装置、存储介质及电子设备 | |
CN116362213A (zh) | 用于生成报表文件的方法、装置、处理器及存储介质 | |
CN111190725B (zh) | 任务处理方法、装置、存储介质及服务器 | |
CN113760524A (zh) | 任务执行方法和装置 | |
CN111984424A (zh) | 任务处理方法、装置、设备及计算机可读存储介质 | |
CN115827195A (zh) | 任务处理方法、装置、非易失性存储介质及电子设备 | |
CN106557359B (zh) | 一种任务调度方法及系统 | |
CN114157566B (zh) | 一种基站性能文件解析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |