CN115834714B - 一种跨平台任务调度方法、服务器和系统 - Google Patents

一种跨平台任务调度方法、服务器和系统 Download PDF

Info

Publication number
CN115834714B
CN115834714B CN202310111718.7A CN202310111718A CN115834714B CN 115834714 B CN115834714 B CN 115834714B CN 202310111718 A CN202310111718 A CN 202310111718A CN 115834714 B CN115834714 B CN 115834714B
Authority
CN
China
Prior art keywords
task
scheduling
scheduled
executor
resource pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310111718.7A
Other languages
English (en)
Other versions
CN115834714A (zh
Inventor
颜挺进
焦振海
钱晨笛
陈林博
李乔
何支军
袁永同
陈心亮
张健东
曹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Securities Depository And Clearing Corp ltd
Original Assignee
China Securities Depository And Clearing Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Securities Depository And Clearing Corp ltd filed Critical China Securities Depository And Clearing Corp ltd
Priority to CN202310111718.7A priority Critical patent/CN115834714B/zh
Publication of CN115834714A publication Critical patent/CN115834714A/zh
Application granted granted Critical
Publication of CN115834714B publication Critical patent/CN115834714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种跨平台任务调度方法、服务器和系统,涉及计算机技术领域。该方法的具体实施方式包括:确定待调度任务的任务类型;从预设的多类型资源池中,选择与任务类型相匹配的目标资源池,其中,每一种类型资源池搭载一种运行系统;将待调度任务调度给目标资源池中的任务执行器,以使任务执行器处理待调度任务。该实施方式能够跨平台调度任务,以有效地提高业务处理效率。

Description

一种跨平台任务调度方法、服务器和系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种跨平台任务调度方法、服务器和系统。
背景技术
证券登记结算批处理业务一般需要不同的平台处理不同的任务。比如,针对A股、B股、股票期权、沪港通、沪伦通、科创板等证券市场业务,一般各自采用不同的平台进行处理。目前各平台之间处于隔离状态,导致业务处理效率较低。
发明内容
有鉴于此,本发明实施例提供一种跨平台任务调度方法、服务器和系统,能够跨平台调度任务,以有效地提高业务处理效率。
为实现上述目的,根据本发明实施例的一个方面,提供了一种跨平台任务调度方法,包括:
确定待调度任务的任务类型;
从预设的多类型资源池中,选择与所述任务类型相匹配的目标资源池,其中,每一种类型资源池搭载一种运行系统;
将所述待调度任务调度给所述目标资源池中的任务执行器,以使所述任务执行器处理所述待调度任务。
可选地,上述跨平台任务调度方法,还包括:设置有多个运行图,其中,每一个所述运行图对应有一个调度实例;
根据所述待调度任务所属运行图的调度实例,执行所述将所述待调度任务调度给所述目标资源池中的任务执行器的步骤。
可选地,所述调度实例指示相关联任务以及相关联任务的执行顺序;
所述跨平台任务调度方法还包括:
针对每一个所述运行图,执行下述操作:
监控所述运行图的调度实例指示的相关联任务的执行情况,并确定当前执行完成的任务;
根据当前执行完成的任务以及所述运行图的调度实例指示的相关联任务的执行顺序,获取待调度任务。
可选地,每一个所述运行图的调度实例进一步指示相关联任务的业务程序;
所述将所述待调度任务调度给所述目标资源池中的任务执行器,包括:
根据所述运行图的调度实例指示的所述待调度任务的业务程序,为所述待调度任务调度生成程序调度指令;
将所述程序调度指令发送给所述目标资源池中的任务执行器,以使所述任务执行器加载对应于所述待调度任务的业务程序,以通过所述任务执行器运行所述业务程序处理所述待调度任务。
可选地,上述跨平台任务调度方法,还包括:
对下述任意一种或多种情况进行监控:
任务调度情况、所述任务执行器的运行情况以及所述运行图的情况;
通过可视化方式展示监控结果。
可选地,所述跨平台任务调度方法,还包括:在所述任务执行器在加载并运行对应于所述待调度任务的业务程序的情况下,通过所述资源池将部分空闲资源提供给所述任务执行器。
可选地,所述跨平台任务调度方法,还包括:在所述任务执行器执行完成所述待调度任务后,释放所述任务执行器所占用的资源。
可选地,上述跨平台任务调度方法,还包括:
通过预设的可视化界面提供所述任务执行器处理所述待调度任务过程所产生的交互信息;
接收用户针对所述交互信息的答复信息,将所述答复信息发送给所述任务执行器,以使所述任务执行器根据所述答复信息进一步处理所述待调度任务。
可选地,上述跨平台任务调度方法,还包括:
在监控到所述任务执行器异常的情况下,将所述任务执行器未处理完成的任务调度到空闲的其他任务执行器,以使其他任务执行器处理所述未处理完成的任务。
可选地,每一种类型资源池包括有多个服务器,其中,每一个所述服务器搭载有所述运行系统,且所述服务器配置有多个所述任务执行器。
第二方面,本发明实施例提供的一种跨平台任务调度服务器,包括:匹配模块以及调度模块,其中,
所述匹配模块,用于确定待调度任务的任务类型;并从预设的多类型资源池中,选择与所述任务类型相匹配的目标资源池,其中,每一种类型资源池对应于一种运行系统;
所述调度模块,用于将所述待调度任务调度给所述目标资源池中的任务执行器,以使所述任务执行器处理所述待调度任务。
第三方面,本发明实施例提供一种跨平台任务调度系统,包括:多种类型资源池以及上述第二方面实施例提供的跨平台任务调度服务器,其中,
每一种类型资源池包括有多个任务执行器;
所述任务执行器,用于处理所述跨平台任务调度服务器调度的待调度任务。
上述发明中的一个实施例具有如下优点或有益效果:因为预设有多类型资源池,可以针对待调度任务的任务类型,为该待调度任务匹配到目标资源池,从而通过该目标资源池中的任务执行器处理待调度任务,即可以在不同类型的资源池之间调度待调度任务,实现跨平台调度任务,以有效地提高业务处理效率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明实施例可以应用于其中的示例性系统架构图;
图2是根据本发明实施例的跨平台任务调度方法的主要流程的示意图;
图3是根据本发明实施例的跨平台任务调度的主要流程的示意图;
图4是根据本发明实施例的获取待调度任务的主要流程的示意图;
图5是根据本发明实施例的将待调度任务调度给目标资源池中的任务执行器的主要流程的示意图;
图6是根据本发明实施例的可视化界面实现人机交互的主要流程的示意图;
图7是根据本发明另一实施例的跨平台任务调度方法的主要流程的示意图;
图8是根据本发明实施例的跨平台任务调度服务器的主要模块的示意图;
图9是根据本发明实施例的跨平台任务调度系统的结构示意图;
图10是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
目前,对于A股、B股、股票期权、沪港通、沪伦通、科创板等证券市场业务来说,一般依赖于不同的平台比如AS400、RS6000、X86服务器、PC机。比如,在现有技术中,调度系统和作业执行都在AS400系统上运行,其他平台作业需要手工执行,如果作业直接存在依赖关系时,只能有人工控制。即各个平台所处理的业务是相互隔离的,这就会导致各个任务不能随意在不同平台之间随意调用,另外,处理各个任务的资源不能共享,导致资源浪费,且存在较大的操作风险。
为了解决现有问题,本发明实施例提供的跨平台任务调度方法、服务器和系统。其中,图1示出了可以应用本发明实施例的跨平台任务调度方法或跨平台任务调度服务器的示例性系统架构100。
如图1所示,系统架构100可以包括多个资源池101、102、103、104、消息总线105和调度服务器106。其中,资源池101部署有多个PC机1011、1012、1013、…,每一个PC机1011、1012、1013、…上部署有多个执行器10111、10112、10113、…、10121、10122、10123、…、10131、10132、10133、…,资源池102部署有多个AS400服务器1021、1022、1023、…,每一个AS400服务器1021、1022、1023、…上部署有多个执行器10211、10212、10113、…、10221、10222、10223、…、10231、10232、10233、…,资源池103部署有多个RS6000服务器1031、1032、1033、…,每一个RS6000服务器1031、1032、1033、…上部署有多个执行器10311、10312、10313、…、10321、10322、10323、…、10331、10332、10333、…,资源池104部署有多个X86服务器1041、1042、1043、…,每一个X86服务器1041、1042、1043、…上部署有多个执行器10411、10412、10413、…、10421、10422、10423、…、10431、10432、10433、…。
上述系统的资源池101、资源池102、资源池103、资源池104可以配置有能够处理业务或者属于业务的多个任务的业务程序,以供资源池101中的PC机上的执行器、资源池102中的AS400服务器上的执行器、资源池103中的RS6000服务器上的执行器、资源池104中的X86服务器上的执行器等加载业务程序,以通过加载了业务程序的执行器处理业务或者属于业务的一个或多个任务。另外,各个PC机/AS400服务器/RS6000服务器/X86服务器为其配置的执行器提供运行业务程序所需的资源比如内存、CPU、GPU等,其中,同一PC机/AS400服务器/RS6000服务器/X86服务器上的多个执行器之间的资源相隔离。
调度服务器105可以是提供各种服务的服务器,例如对待调度任务进行调度提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对待调度任务以及执行器等进行分析等处理,并根据处理结果(例如待调度任务的任务类型--仅为示例),将待调度任务调度到目标资源池中的执行器。
需要说明的是,本发明实施例所提供的跨平台任务调度方法一般由调度服务器105执行。
应该理解,图1中的调度服务器和资源池中的PC机、服务器等的数目仅仅是示意性的。根据实现需要,可以具有任意数目的调度服务器和资源池中的PC机、服务器。
具体地,图2示出了图1的系统架构实现的跨平台任务调度方法的主要流程示意图。如图2所示,该跨平台任务调度方法可包括如下步骤:
步骤S201:确定待调度任务的任务类型;
该任务类型指示待调度任务所依赖的运行系统的类型,比如,AS400、RS6000、X86、Linux、AIX等。
步骤S202:从预设的多类型资源池中,选择与任务类型相匹配的目标资源池,其中,每一种类型资源池搭载一种运行系统;
该预设的多类型资源池已包括有AS400、RS6000、X86、Linux、AIX等类型的资源池,每一个资源池中有相同运行系统的多个服务器,每一个服务器配置有多个任务执行器。即每一种类型资源池包括有多个服务器,其中,每一个服务器搭载有运行系统,且服务器配置有多个任务执行器。
步骤S203:将待调度任务调度给目标资源池中的任务执行器,以使任务执行器处理待调度任务。
该待调度任务调度的任务执行器一般为空闲的任务执行器,如果没有空闲的任务执行器,可以将待调度任务分配到任务执行器对应的任务队列中。
通过不同类型的资源池中的多个任务执行器,可以实现不同市场、不同品种、不同日历的登记结算业务并行运行,以有效地提高业务处理能力。
在图2所示的实施例中,因为预设有多类型资源池,可以针对待调度任务的任务类型,为该待调度任务匹配到目标资源池,从而通过该目标资源池中的任务执行器处理待调度任务,即可以在不同类型的资源池之间调度待调度任务,实现跨平台调度任务,以有效地提高业务处理效率。
另外,本发明实施例通过引入多类型的资源池,当系统运能不足时,可以增加资源池中的服务器数量,部署更多的执行器,不影响业务处理逻辑,提高系统整体运能,即利用资源池,可以按需扩展资源池中的服务器,以实现按需扩展业务处理能力,同时降低了系统建设成本。
进一步地,通过在不同资源池之间的调度,实现了登记结算批处理业务的跨平台无缝运行,可满足Linux、AIX、AS400等多种平台的运行需求,拓展了登记结算核心业务的运用范围。
在本发明实施例中,如图3所示,上述跨平台任务调度方法还可进一步包括如下步骤:
步骤S301:设置有多个运行图,其中,每一个运行图对应有一个调度实例;
步骤S302:根据待调度任务所属运行图的调度实例,执行将待调度任务调度给目标资源池中的任务执行器的步骤。
其中,运行图指示存在直接或者间接关联的任务,比如,在2000个任务中有500个任务之间存在直接或间接关联,则该存在直接或间接关关联的500个任务属于同一个运行图。
调度实例是指为了完成业务所需要执行的多个相关联的任务以及相关联的任务的执行顺序、所需业务程序等信息。
即本系统以运行图为调度单位,可以把不同的业务比如不同日历的任务(不同日历的任务之间不存在关联性)放在不同的运行图,调度时,每个运行图按照该运行的日历进行独立运作,实现通过运行图隔离各个任务的执行。
实现了不同市场、不同品种、不同日历的登记结算业务并行运行能力。
在本发明实施例中,调度实例指示相关联任务以及相关联任务的执行顺序;相应地,如图4所示,上述跨平台任务调度方法还包括:
针对每一个运行图,执行下述操作步骤S401和步骤S402:
步骤S401:监控运行图的调度实例指示的相关联任务的执行情况,并确定当前执行完成的任务;
步骤S402:根据当前执行完成的任务以及运行图的调度实例指示的相关联任务的执行顺序,获取待调度任务。
另外,上述每一个运行图的调度实例进一步指示相关联任务的业务程序;相应地,如图5所示,上述将待调度任务调度给目标资源池中的任务执行器的具体实施方式可包括如下步骤:
步骤S501:根据运行图的调度实例指示的待调度任务的业务程序,为待调度任务调度生成程序调度指令;
步骤S502:将程序调度指令发送给目标资源池中的任务执行器,以使任务执行器加载对应于待调度任务的业务程序,以通过任务执行器运行业务程序处理待调度任务。
另外,跨平台任务调度方法还可进一步包括:在任务执行器在加载并运行对应于待调度任务的业务程序的情况下,通过资源池将部分空闲资源提供给任务执行器。
使资源、业务程序与任务执行器解耦,建立了高效、安全、松耦合及可扩展的业务处理框架。
另外,通过任务执行器在任务执行过程中加载业务程序以及获取资源,实现了抢占式调度。
另外,执行调度的每台调度服务器都有空闲的调度实例,当调度实例出现异常时,可由空闲调度实例接管异常的调度运行图,保障系统的高可用性。另外,调度服务器还可对各个资源池的执行能力进行检测,以保证业务处理能力。
进一步地,跨平台任务调度方法还可进一步包括:在任务执行器执行完成待调度任务后,释放任务执行器所占用的资源。实现了执行器沙箱技术、使执行资源智能伸缩、保障批处理应用层的高可用。本系统设计时对任务和处理程序进行了解耦,调度程序多活部署。
具体地,在系统启动时,系统按照配置预启一定数量的执行器,当执行任务信息到达执行器时,多个预启的执行器通过抢占方式获取执行任务。当执行器数量小于该服务器配置的最大执行器数量,且待处理任务数也大于执行器数量时,系统将按照规则增加服务器中运行的执行器数量,反之,当执行器长期处于空闲时,部分空闲执行器将按照规则逐步停止,释放系统资源。每个执行的任务在进程沙箱类完成任务处理,任务完成后将处理完成状态反馈到调度器。平台自检是通过自动运行图中任务定时发送到资源池中的执行服务器,确保执行服务器处于正常状态。
在本发明实施例中,跨平台任务调度方法还可进一步包括:对下述任意一种或多种情况进行监控:任务调度情况、所述任务执行器的运行情况以及所述运行图的情况;并通过可视化方式展示监控结果。使用户能够清晰地获知和查看调度情况、执行器的情况等,以及时对调度过程中和任务执行过程中存在的问题进行处理和维护。
在本发明实施例中,如图6所示,上述跨平台任务调度方法还可进一步包括如下步骤:
步骤S601:通过预设的可视化界面提供任务执行器处理待调度任务过程所产生的交互信息;
步骤S602:接收用户针对交互信息的答复信息,将答复信息发送给任务执行器,以使任务执行器根据答复信息进一步处理待调度任务。
通过可视化界面,实现了业务监控信息的可定制化,提高了业务快速响应能力,保障业务高效运行。即本系统提供应用人机交互接口,应用程序可以将捕获到的信息通过接口发送通知或交互信息到监控平台,监控平台可以将交互信息的处理结果反馈给应用处理程序,提高系统处理的鲁棒性以及业务快速响应能力,保障业务高效运行。
另外,本系统提供人机交互接口,当批处理作业捕获到需要人机交互的信息时,通过交互接口将信息发送到监控平台(信息发送时可以指定处理角色),人工进行相应处理后,可以将处理信息返回给业务处理程序,业务处理程序按照返回指令进行后续处理。
另外,上述跨平台任务调度方法还可进一步包括:在监控到任务执行器异常的情况下,将任务执行器未处理完成的任务调度到空闲的其他任务执行器,以使其他任务执行器处理未处理完成的任务。以保证任务能够顺利完成。
另外,调度系统中定义的资源池包括多台执行服务器,需要增加运能时,可以直接将新增加的服务器加入到调度资源池即可。
下面以证券结算涉及的股票结算业务(下述简称业务A,比如,该业务A中包括有相关联的任务1→任务2→任务3→…,其中,比如任务1为用户发起的股票交易一般通过PC机与AS400服务平台交互完成,比如任务2为对一段时间的股票交易进行结算一般通过RS6000服务平台执行,该任务2依赖于任务1,比如任务3为对一定时间的股票交易进行汇总和分析一般通过X86平台服务执行,该任务3依赖于任务2)以及债券结算业务(下述简称业务B,比如,该业务B中包括有相关联的任务4→任务5→任务6→…,其中,比如任务4一般通过RS6000服务平台执行,任务5一般通过AS400服务平台执行,该任务5依赖于任务4,任务6一般通过X86平台服务执行,该任务6依赖于任务5)为例,详细说明跨平台任务调度方法的具体实施方式。如图7所示,该具体实施方式可包括如下步骤:
步骤S701:分别为业务A和业务B配置有对应的运行图,其中,业务A的运行图对应有一个调度实例a,业务B的运行图对应有一个调度实例b,调度实例指示相关联任务、相关联任务的执行顺序以及相关联任务的业务程序;
比如,调度实例a指示相关联任务以及相关联任务的执行顺序为任务1→任务2→任务3,相关联任务的业务程序分别:任务1的业务程序S1、任务2的业务程序S2、任务3的业务程序S3。调度实例b指示相关联任务以及相关联任务的执行顺序为任务4→任务5→任务6,相关联任务的业务程序分别:任务1的业务程序S1、任务2的业务程序S2、任务3的业务程序S3;任务4的业务程序S4、任务5的业务程序S5、任务6的业务程序S6。
步骤S702:分别业务A运行图的调度实例a指示的相关联任务以及业务B运行图的调度实例b指示的相关联任务的执行情况,并确定当前执行完成的任务;
步骤S703:根据当前执行完成的任务以及运行图的调度实例指示的相关联任务的执行顺序,获取待调度任务;
比如,当业务A的运行图的调度实例a中的任务1已完成,根据调度实例a指示的相关联任务的执行顺序,为业务A的运行图获取待执行任务2,业务B的运行图的调度实例b指示的任务4处于待执行状态,根据调度实例b指示的相关联任务的执行顺序,为业务B的运行图获取待执行任务4。
步骤S704:确定待调度任务的任务类型;
该任务类型指示待调度任务所需的运行系统比如AS400、RS6000、X86、PC如windows等。比如,任务1的任务类型为PC+ AS400、任务2的任务类型为RS6000、任务3的任务类型为X86,任务4的任务类型为RS6000,任务5的任务类型为AS400,任务6的任务类型为X86。
步骤S705:从预设的多类型资源池中,选择与任务类型相匹配的目标资源池,其中,每一种类型资源池搭载一种运行系统;
其中,每一种类型资源池包括有多个具有相同运行系统的服务器,即同一类型资源池中的各个服务器搭载有相同的运行系统,每一个服务器配置有多个任务执行器。比如,资源池的类型可分为AS400、RS6000、X86、PC如windows等。其中,类型AS400资源池的每一个服务器运行AS400系统,类型RS6000资源池的每一个服务器运行RS6000系统等,每一个服务器配置有多个任务执行器。比如,为待调度任务2 选择RS6000类型的资源池,为待调度任务4也选择RS6000类型的资源池。
步骤S706:根据待调度任务所属运行图的调度实例指示的待调度任务的业务程序,为待调度任务调度生成程序调度指令;
比如,针对业务A,待调度任务2的业务程序为S1,为该待调度任务2生成调度业务程序S2的程序调度指令;针对业务B,待调度任务4的业务程序为S4,为该待调度任务4生成调度业务程序S4的程序调度指令。
步骤S707:将程序调度指令发送给目标资源池中的任务执行器,以使任务执行器加载对应于待调度任务的业务程序,以通过任务执行器运行业务程序处理待调度任务;
比如,将调度业务程序S2的程序调度指令发送给RS6000类型的目标资源池中的服务器1的空闲的任务执行器11,将调度业务程序S4的程序调度指令发送给RS6000类型的目标资源池中的服务器2的空闲的任务执行器21等。具体选择哪一个空闲的任务执行器可以通过随机方式选择。
步骤S708:在任务执行器在加载并运行对应于待调度任务的业务程序的情况下,通过资源池将部分空闲资源提供给任务执行器;
比如,任务执行器11分配有内存20G等,则将服务器1的内存中的20G分配给该任务执行器11,又比如,任务执行器21分配有内存30G等,则将服务器2的内存中的30G分配给该任务执行器21。值得说明的是,被一个任务执行器占用的资源不会再被其他任务执行器所使用,以实现资源隔离,保证任务能够顺畅执行。
步骤S709:任务执行器执行完成待调度任务后,释放任务执行器所占用的资源;
比如,任务执行器11执行完成任务2之后,则释放服务器1为其分配的内存20G等,通过该过程可以使空闲的资源能够被再次利用,以有效地提高资源利用率。
步骤S710:在监控到任务执行器异常的情况下,将任务执行器未处理完成的任务调度到空闲的其他任务执行器,以使其他任务执行器处理未处理完成的任务;
以保证任务能够得到及时处理。
步骤S711:对任务调度情况、任务执行器的运行情况以及运行图的情况进行监控:
步骤S712:通过可视化方式展示监控结果;
以使用户能够及时了解系统的运行情况以及任务的处理情况,以及时处理异常。
步骤S713:通过预设的可视化界面提供任务执行器处理待调度任务过程所产生的交互信息;
比如,通过可视化界面对服务器中的多个任务执行器的资源进行重新调调配。
步骤S714:接收用户针对交互信息的答复信息,将答复信息发送给任务执行器,以使任务执行器根据答复信息进一步处理待调度任务。
比如,该答复信息可以为重新分配后的各个任务执行器的资源,还可以为发送给任务执行器的指示停止任务执行的指令等。
值得说明的是,上述步骤S701至步骤S710与步骤S711和步骤S712之间没有严格的执行先后顺序,步骤S713和步骤S714与步骤S701至步骤S710之间没有严格的执行先后顺序,步骤S713和步骤S714与步骤S711和步骤S712之间也没有严格的执行先后顺序。
值得说明的是,上述业务A的任务1、任务2和任务3以及业务B的任务4、任务5和任务6仅是示例性地给出的存在关联关系的任务,其并不具体限定任务的类型或者具体的任务。
综上,本发明实施例提供的系统提升了证券登记结算业务处理效率和安全性。目前本发明实施例提供的系统可每天完成5个业务运行图总计约1600个作业将近23000多次调度和执行。
通过多个任务可组成运行图,由调度服务器负责全部任务调度控制,采用多个调度实例以多活模式来抢占运行图,以实现对任务的控制。任务执行器部署在若干台负责具体业务处理的异构服务器上,服务器类型包含AS400、RS6000、X86服务器、PC机等,并且每台服务器负责一个或者多个任务的处理。调度器与任务执行器之间通过消息总线传递任务调度指令。多个相同运行系统的服务器上设置执行组成一各类型的资源池,配置多个执行器,执行器采用多活模式并以沙箱化模式运行任务。当任务到达时,执行器以抢占式方式抢占任务,并将任务对应的业务程序加载到执行器中运行,以实现资源隔离,避免单个任务的异常影响其他正常运行的任务。监控可以以可视化的方式,对调度服务器、执行器、运行图、任务等进行监控,并可对任务在执行过程中发出的交互信息以人机接口方式进行对话管理。
通过分布式提升了任务的处理效率,可满足多个运行图多个任务并行运行,可实现不同平台的任务集中统一的控制,可在系统运行时实现执行资源的按需扩展,适用于大规模的批处理任务的运行控制,并能够有效地提高批处理任务的处理效率。
如图8所示,本发明实施例提供一种跨平台任务调度服务器800,该跨平台任务调度服务器800可包括:匹配模块801以及调度模块802,其中,
匹配模块801,用于确定待调度任务的任务类型;并从预设的多类型资源池中,选择与任务类型相匹配的目标资源池,其中,每一种类型资源池对应于一种运行系统;
调度模块802,用于将待调度任务调度给目标资源池中的任务执行器,以使任务执行器处理待调度任务。
在本发明实施例中,调度模块802,进一步用于设置有多个运行图,其中,每一个运行图对应有一个调度实例;根据待调度任务所属运行图的调度实例,执行将待调度任务调度给目标资源池中的任务执行器的步骤。
在本发明实施例中,调度实例指示相关联任务以及相关联任务的执行顺序;调度模块802,进一步用于针对每一个运行图,执行:监控运行图的调度实例指示的相关联任务的执行情况,并确定当前执行完成的任务;根据当前执行完成的任务以及运行图的调度实例指示的相关联任务的执行顺序,获取待调度任务。
在本发明实施例中,每一个运行图的调度实例进一步指示相关联任务的业务程序;调度模块802,进一步用于根据运行图的调度实例指示的待调度任务的业务程序,为待调度任务调度生成程序调度指令;将程序调度指令发送给目标资源池中的任务执行器,以使任务执行器加载对应于待调度任务的业务程序,以通过任务执行器运行业务程序处理待调度任务。
在本发明实施例中,如图8所示,上述跨平台任务调度服务器800还可进一步包括:监控模块803以及可视化模块804,其中,
监控模块803,用于对下述任意一种或多种情况进行监控:任务调度情况、任务执行器的运行情况以及运行图的情况;
可视化模块804,用于通过可视化方式展示监控结果。
在本发明实施例中,可视化模块804,进一步用于通过预设的可视化界面提供任务执行器处理待调度任务过程所产生的交互信息;接收用户针对交互信息的答复信息,将答复信息发送给任务执行器,以使任务执行器根据答复信息进一步处理待调度任务。
在本发明实施例中,调度模块802,进一步用于在监控模块803监控到任务执行器异常的情况下,将任务执行器未处理完成的任务调度到空闲的其他任务执行器,以使其他任务执行器处理未处理完成的任务。
如图9所示,本发明实施例提供一种跨平台任务调度系统900。该跨平台任务调度系统900可包括:多种类型资源池901以及上述图8所示的跨平台任务调度服务器800,其中,
每一种类型资源池901包括有多个任务执行器9011;
任务执行器9011,用于处理跨平台任务调度服务器800调度的待调度任务。
其中,多个任务执行器9011设置于一个或多个PC机/服务器上。
下面参考图10,其示出了适于用来实现本发明实施例的调度服务器的计算机系统1000的结构示意图。图10示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统1000包括中央处理单元(CPU)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有系统1000操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括匹配模块以及调度模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,匹配模块还可以被描述为“选择与待调度任务的任务类型相匹配的目标资源池的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:确定待调度任务的任务类型;从预设的多类型资源池中,选择与任务类型相匹配的目标资源池,其中,每一种类型资源池搭载一种运行系统;将待调度任务调度给目标资源池中的任务执行器,以使任务执行器处理待调度任务。
根据本发明实施例的技术方案,由于预设有多类型资源池,可以针对待调度任务的任务类型,为该待调度任务匹配到目标资源池,从而通过该目标资源池中的任务执行器处理待调度任务,即可以在不同类型的资源池之间调度待调度任务,实现跨平台调度任务,以有效地提高业务处理效率。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (11)

1.一种跨平台任务调度方法,其特征在于,应用于调度服务器在不同资源池之间的调度,包括:
确定待调度任务的任务类型,所述任务类型指示待调度任务所依赖的运行系统的类型;
从预设的多类型资源池中,选择与所述任务类型相匹配的目标资源池,其中,每一种类型资源池搭载一种运行系统,每一种类型资源池包括有多个服务器,其中,每一个所述服务器搭载有所述运行系统,且所述服务器配置有多个任务执行器;
将所述待调度任务调度给所述目标资源池中的任务执行器,以使所述任务执行器处理所述待调度任务;
还包括:
设置有多个运行图,其中,每一个所述运行图对应有一个调度实例;
根据所述待调度任务所属运行图的调度实例,执行所述将所述待调度任务调度给所述目标资源池中的任务执行器的步骤。
2.根据权利要求1所述的跨平台任务调度方法,其特征在于,
所述调度实例指示相关联任务以及相关联任务的执行顺序;
所述跨平台任务调度方法还包括:
针对每一个所述运行图,执行下述操作:
监控所述运行图的调度实例指示的相关联任务的执行情况,并确定当前执行完成的任务;
根据当前执行完成的任务以及所述运行图的调度实例指示的相关联任务的执行顺序,获取待调度任务。
3.根据权利要求1或2所述的跨平台任务调度方法,其特征在于,
每一个所述运行图的调度实例进一步指示相关联任务的业务程序;
所述将所述待调度任务调度给所述目标资源池中的任务执行器,包括:
根据所述运行图的调度实例指示的所述待调度任务的业务程序,为所述待调度任务调度生成程序调度指令;
将所述程序调度指令发送给所述目标资源池中的任务执行器,以使所述任务执行器加载对应于所述待调度任务的业务程序,以通过所述任务执行器运行所述业务程序处理所述待调度任务。
4.根据权利要求1所述的跨平台任务调度方法,其特征在于,还包括:
对下述任意一种或多种情况进行监控:
任务调度情况、所述任务执行器的运行情况以及所述运行图的情况;
通过可视化方式展示监控结果。
5.根据权利要求3所述的跨平台任务调度方法,其特征在于,
所述跨平台任务调度方法,还包括:在所述任务执行器在加载并运行对应于所述待调度任务的业务程序的情况下,通过所述资源池将部分空闲资源提供给所述任务执行器;
和/或,
所述跨平台任务调度方法,还包括:在所述任务执行器执行完成所述待调度任务后,释放所述任务执行器所占用的资源。
6.根据权利要求1或4所述的跨平台任务调度方法,其特征在于,还包括:
通过预设的可视化界面提供所述任务执行器处理所述待调度任务过程所产生的交互信息;
接收用户针对所述交互信息的答复信息,将所述答复信息发送给所述任务执行器,以使所述任务执行器根据所述答复信息进一步处理所述待调度任务。
7.根据权利要求1所述的跨平台任务调度方法,其特征在于,还包括:
在监控到所述任务执行器异常的情况下,将所述任务执行器未处理完成的任务调度到空闲的其他任务执行器,以使其他任务执行器处理所述未处理完成的任务。
8.一种跨平台任务调度服务器,其特征在于,应用于调度服务器在不同资源池之间的调度,包括:匹配模块以及调度模块,其中,
所述匹配模块,用于确定待调度任务的任务类型,所述任务类型指示待调度任务所依赖的运行系统的类型;并从预设的多类型资源池中,选择与所述任务类型相匹配的目标资源池,其中,每一种类型资源池对应于一种运行系统,每一种类型资源池包括有多个服务器,其中,每一个所述服务器搭载有所述运行系统,且所述服务器配置有多个任务执行器;
所述调度模块,用于将所述待调度任务调度给所述目标资源池中的任务执行器,以使所述任务执行器处理所述待调度任务;
所述调度模块,进一步用于设置有多个运行图,其中,每一个运行图对应有一个调度实例;根据待调度任务所属运行图的调度实例,执行将待调度任务调度给目标资源池中的任务执行器的步骤。
9.一种跨平台任务调度系统,其特征在于,包括:多种类型资源池以及权利要求8所述的跨平台任务调度服务器,其中,
每一种类型资源池包括有多个任务执行器;
所述任务执行器,用于处理所述跨平台任务调度服务器调度的待调度任务。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202310111718.7A 2023-02-09 2023-02-09 一种跨平台任务调度方法、服务器和系统 Active CN115834714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310111718.7A CN115834714B (zh) 2023-02-09 2023-02-09 一种跨平台任务调度方法、服务器和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310111718.7A CN115834714B (zh) 2023-02-09 2023-02-09 一种跨平台任务调度方法、服务器和系统

Publications (2)

Publication Number Publication Date
CN115834714A CN115834714A (zh) 2023-03-21
CN115834714B true CN115834714B (zh) 2023-06-16

Family

ID=85521296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310111718.7A Active CN115834714B (zh) 2023-02-09 2023-02-09 一种跨平台任务调度方法、服务器和系统

Country Status (1)

Country Link
CN (1) CN115834714B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102548A (zh) * 2014-08-04 2014-10-15 北京京东尚科信息技术有限公司 任务资源调度处理方法和系统
CN107016480A (zh) * 2016-01-28 2017-08-04 五八同城信息技术有限公司 任务调度方法、装置及系统
CN108182111A (zh) * 2018-01-23 2018-06-19 百度在线网络技术(北京)有限公司 任务调度系统、方法和装置
CN109408205A (zh) * 2017-08-16 2019-03-01 北京京东尚科信息技术有限公司 基于hadoop集群的任务调度方法和装置
CN112799854A (zh) * 2021-04-15 2021-05-14 腾讯科技(深圳)有限公司 任务处理方法、装置、电子设备及可读存储介质
CN115629853A (zh) * 2022-09-29 2023-01-20 中国建设银行股份有限公司 一种任务调度的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400687B2 (en) * 2014-12-11 2016-07-26 International Business Machines Corporation Method and system for dynamic pool reallocation
CN113407317A (zh) * 2018-09-11 2021-09-17 华为技术有限公司 一种资源调度方法及装置
CN111522639B (zh) * 2020-04-16 2022-11-01 南京邮电大学 Kubernetes集群架构系统下多维资源调度方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102548A (zh) * 2014-08-04 2014-10-15 北京京东尚科信息技术有限公司 任务资源调度处理方法和系统
CN107016480A (zh) * 2016-01-28 2017-08-04 五八同城信息技术有限公司 任务调度方法、装置及系统
CN109408205A (zh) * 2017-08-16 2019-03-01 北京京东尚科信息技术有限公司 基于hadoop集群的任务调度方法和装置
CN108182111A (zh) * 2018-01-23 2018-06-19 百度在线网络技术(北京)有限公司 任务调度系统、方法和装置
CN112799854A (zh) * 2021-04-15 2021-05-14 腾讯科技(深圳)有限公司 任务处理方法、装置、电子设备及可读存储介质
CN115629853A (zh) * 2022-09-29 2023-01-20 中国建设银行股份有限公司 一种任务调度的方法和装置

Also Published As

Publication number Publication date
CN115834714A (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN112882813B (zh) 任务调度方法、装置、系统及电子设备
US9262220B2 (en) Scheduling workloads and making provision decisions of computer resources in a computing environment
US9176774B2 (en) Workflow control of reservations and regular jobs using a flexible job scheduler
CN109408205B (zh) 基于hadoop集群的任务调度方法和装置
CN109117260A (zh) 一种任务调度方法、装置、设备和介质
US8589929B2 (en) System to provide regular and green computing services
CN112486648A (zh) 任务调度方法、装置、系统、电子设备和存储介质
RU2697700C2 (ru) Равноправное разделение системных ресурсов в исполнении рабочего процесса
CN109871384B (zh) 基于PaaS平台进行容器迁移的方法、系统、设备和存储介质
CN106557369A (zh) 一种多线程的管理方法及系统
CN103294533A (zh) 任务流控制方法及系统
US20120216203A1 (en) Holistic task scheduling for distributed computing
CN104598426A (zh) 用于异构多核处理器系统的任务调度方法
US20100042723A1 (en) Method and system for managing load in a network
US10331488B2 (en) Multilayered resource scheduling
WO2015131542A1 (zh) 数据处理方法、装置和系统
CN112463535A (zh) 多集群异常处理方法及装置
CN113032125A (zh) 作业调度方法、装置、计算机系统和计算机可读存储介质
CN115834714B (zh) 一种跨平台任务调度方法、服务器和系统
CN117435324A (zh) 基于容器化的任务调度方法
CN103631594A (zh) 通用流程异步调度方法及系统
CN112559179A (zh) 一种作业处理方法和装置
CN105933136A (zh) 一种资源调度方法及系统
CN110018906B (zh) 调度方法、服务器及调度系统
CN114490000A (zh) 任务处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant