CN116263696A - 一种机房任务通知处理方法、装置及任务通知处理系统 - Google Patents
一种机房任务通知处理方法、装置及任务通知处理系统 Download PDFInfo
- Publication number
- CN116263696A CN116263696A CN202111527738.XA CN202111527738A CN116263696A CN 116263696 A CN116263696 A CN 116263696A CN 202111527738 A CN202111527738 A CN 202111527738A CN 116263696 A CN116263696 A CN 116263696A
- Authority
- CN
- China
- Prior art keywords
- machine room
- task
- node server
- notification
- task notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种机房任务通知处理方法、装置及任务通知处理系统,该方法由任务通知处理系统中的主节点服务器执行,任务通知处理系统的各节点服务器分别部署在各个机房,该方法包括:接收主节点服务器所在机房的机房任务通知;接收从节点服务器发送的从节点服务器所在机房的机房任务通知;将接收到的各机房任务通知进行汇总处理;通过与主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。本申请通过任务通知处理系统中的主节点服务器对其他各节点服务器接收到的机房任务通知进行统一汇总处理后再发送至相应的对外通知服务器,降低了任务通知的发送量,且汇总处理后的任务通知也便于人工统一查看,提高了后续人工运维效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种机房任务通知处理方法、装置及任务通知处理系统。
背景技术
在分布式系统的应用场景中,经常存在多个机房(又称数据中心,简称IDC)同时执行定时任务的情况,例如交易对账、文件转储等场景。在这些应用场景下,每个IDC都会处理各自的数据,处理结束之后会对外发出任务通知,用以说明本次任务执行成功或者执行失败的结果。
然而这种任务通知处理方法存在着任务通知量较大,且任务通知查看不方便等问题,导致运维效率不高。
发明内容
本申请实施例提供了一种机房任务通知处理方法、装置及任务通知处理系统,以在一定程度上降低任务通知量,提高运维效率。
本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种机房任务通知处理方法,由任务通知处理系统中的主节点服务器执行,其中,所述任务通知处理系统的各节点服务器分别部署在各个机房,所述方法包括:
接收主节点服务器所在机房的机房任务通知;
接收从节点服务器发送的从节点服务器所在机房的机房任务通知;
将接收到的各机房任务通知进行汇总处理;
通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。
可选地,所述主节点服务器是通过选举算法从所述任务通知处理系统的各节点服务器中确定的,各从节点服务器保存有基于Gossip协议发送的主节点服务器的节点信息;
所述接收从节点服务器发送的机房任务通知包括:
接收各从节点服务器基于保存的主节点服务器的节点信息而发送的机房任务通知。
可选地,所述方法还包括:
通过Gossip协议响应从节点服务器的节点状态探测请求,以使各从节点在根据节点状态探测请求的响应结果确定当前的主节点服务器故障时,通过选举算法确定新的主节点服务器。
可选地,所述将接收到的各机房任务通知进行汇总处理包括:
调用与主节点服务器连接的数据存储模块的接口,将各机房任务通知存储到所述数据存储模块中,以通过所述数据存储模块实现对各机房任务通知的汇总。
可选地,所述将各机房任务通知存储到所述数据存储模块中包括:
确定所述机房任务通知的标识信息;
确定所述数据存储模块中是否已经存在与所述机房任务通知的标识信息对应的机房任务通知;
若存在,则不将所述机房任务通知存储到所述数据存储模块中;
若不存在,则将所述机房任务通知存储到所述数据存储模块中。
可选地,所述将接收到的各机房任务通知进行汇总处理还包括:
确定各机房任务通知的类型;
根据各机房任务通知的类型对各机房任务通知进行汇总处理。
可选地,所述汇总处理后的机房任务通知中包括任务执行时间批次、任务通知名称和任务执行结果中的一种或多种。
可选地,所述对外通知服务器包括告警平台服务器、邮件发送服务器和短信发送服务器中的一种或多种。
第二方面,本申请实施例还提供一种机房任务通知处理装置,应用于任务通知处理系统中的主节点服务器,其中,所述装置用于实现前述之任一所述方法。
第三方面,本申请实施例还提供一种任务通知处理系统,所述系统包括主节点服务器和从节点服务器;
所述主节点服务器,用于接收主节点服务器所在机房的机房任务通知,以及接收从节点服务器发送的从节点服务器所在机房的机房任务通知,将接收到的各机房任务通知进行汇总处理,通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去;
所述从节点服务器,用于接收本从节点服务器所在机房的机房任务通知,并将接收到的机房任务通知发送给所述主节点服务器。
可选地,所述从节点服务器,用于向所述主节点服务器发送节点状态探测请求,并接收所述主节点服务器对节点状态探测请求的响应结果,在根据所述响应结果确定当前的主节点服务器故障时,通过选举算法确定新的主节点服务器。
第四方面,本申请实施例还提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第五方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本申请实施例的机房任务通知处理方法可以由任务通知处理系统中的主节点服务器来执行,任务通知处理系统中包括多个节点服务器,各节点服务器分别部署在各个机房,在进行机房任务通知处理时,先接收主节点服务器所在机房的机房任务通知以及从节点服务器发送的从节点服务器所在机房的机房任务通知,然后对接收到的各机房任务通知进行汇总处理,最后通过与主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。本申请实施例通过任务通知处理系统中的主节点服务器对其他各节点服务器接收到的机房任务通知进行统一汇总处理后再发送至相应的对外通知服务器,大大降低了机房任务通知的发送量,避免了对对外通知服务器的频繁打扰,同时汇总处理后的机房任务通知也便于人工统一查看,而无需人工在各节点服务器上分别查看,降低了人工运维成本,提高了运维效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为现有技术中一种机房任务通知处理流程示意图;
图2为本申请实施例一种任务通知处理系统的结构示意图;
图3为本申请实施例一种任务通知处理系统的任务通知处理流程示意图;
图4为本申请实施例一种机房任务通知处理方法的流程示意图;
图5为本申请实施例一种机房任务通知处理装置的结构示意图;
图6为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
为了便于对本申请各实施例的理解,如图1所示,提供了现有技术中一种机房任务通知处理流程示意图。在分布式系统架构下,数据通常分散在多个数据中心中分别进行处理,以图1中的6个IDC为例,每个IDC中都对应有用于发送本IDC中的任务通知的应用(APP),每个IDC在完成自己的任务处理后,用于发送任务通知的APP会通过调用本IDC的API接口来将任务通知发送给本IDC的节点服务器上,然后由本IDC的节点服务器将任务通知(notify)发送给本IDC对应的对外通知服务器如告警平台服务器(Alarm)或者邮件发送服务器(MailServer)等。
然而上述这种机房任务通知处理方法存在如下问题:
1)通知量过多导致通知过于频繁,每个机房在每个任务的定时时间都会发送一个任务通知,如果每小时,甚至是每半小时进行一次通知,6个机房就会产生6倍的通知量。
2)不能有效显示是否所有机房的任务都执行成功,因为各机房的任务通知散落在每个机房中,需要人工一一查看,费时费力。
基于此,本申请实施例提供了一种任务通知处理系统,如图2所示,提供了本申请实施例一种任务通知处理系统的结构示意图,本申请实施例的任务通知处理系统包括主节点服务器(master)和从节点服务器(follower),可以看出,master仅有一个,除master以外的节点服务器均为follower。
如图3所示,提供了本申请实施例一种任务通知处理系统的任务通知处理流程示意图,本申请实施例的各数据中心通过API接口(Application Programming Interface,应用程序接口)接收本IDC中的任务通知应用(APP)发送的通知,主节点服务器(master)主要用于接收主节点服务器所在机房的机房任务通知,以及接收从节点服务器发送的从节点服务器所在机房的机房任务通知,并将接收到的各机房任务通知进行汇总处理,通过与主节点服务器本地数据中心(IDC of master location)连接的对外通知服务器如告警平台服务器(Alarm)或者邮件发送服务器(Mail Server)等,将汇总处理后的机房任务通知发送出去。从节点服务器主要用于接收本从节点服务器所在机房的机房任务通知,并将接收到的机房任务通知发送给主节点服务器进行汇总处理。
本申请实施例提供的任务通知处理系统通过任务通知处理系统中的主节点服务器对其他各节点服务器接收到的机房任务通知进行统一汇总处理后再发送至相应的对外通知服务器,大大降低了机房任务通知的发送量,避免了对对外通知服务器的频繁打扰,同时汇总处理后的机房任务通知也便于人工统一查看,而无需人工在各节点服务器上分别查看,降低了人工运维成本,提高了运维效率。
此外,对于发送任务通知的应用来说,其无需改变现有的发送逻辑,即仍然可以将任务通知发送给本IDC的节点服务器上,因此本申请实施例对系统整体架构的改动较小。
在本申请的一个实施例中,上述从节点服务器还可以用于向主节点服务器发送节点状态探测请求,探测主节点服务器的存活状态,并在确定当前的主节点服务器出现故障时,通过选举算法确定新的主节点服务器。具体探测的频率,本领域技术人员根据实际需要灵活设置,在此不作具体限定。
本申请实施例还提供了一种机房任务通知处理方法,由任务通知处理系统中的主节点服务器执行,其中,所述任务通知处理系统的各节点服务器分别部署在各个机房,如图4所示,提供了本申请实施例一种机房任务通知处理方法的流程示意图,所述方法至少包括如下的步骤S410至步骤S440:
步骤S410,接收主节点服务器所在机房的机房任务通知。
如上所述,任务通知处理系统中具体可以包括分布在多个机房的多个节点服务器,因此任务通知处理系统可以看作是一个服务器集群,整个服务器集群在启动时会在多个节点服务器中确定出主节点服务器,本申请实施例的机房任务通知处理方法就可以由该主节点服务器来执行。
在对机房任务通知进行处理时,可以先接收主节点服务器所在机房的机房任务通知,这里的机房任务通知可以理解为是用于说明各机房的任务执行结果的通知。实际应用场景下,一个机房的任务执行结果可能是任务执行成功,也可能是任务执行失败,针对任务执行失败的情况需要进行后续的故障排查等运维处理。
步骤S420,接收从节点服务器发送的从节点服务器所在机房的机房任务通知。
对于主节点服务器来说,其除了负责接收主节点服务器所在机房的机房任务通知,还负责接收各从节点服务器发送的各从节点服务器所在机房的机房任务通知。也就是说,各从节点服务器会将自己接收到的机房任务通知统一发送给主节点服务器进行处理,而不是将自己接收到的机房任务通知直接发送给本节点所对应的对外通知服务器,这样可以降低对外通知服务器接收到的机房任务通知量,避免对对外通知服务器的频繁打扰。
需要说明的是,上述步骤S420与步骤S410之间没有严格的先后顺序之分,既可以先接收主节点服务器所在机房的机房任务通知,也可以先接收从节点服务器发送的从节点服务器所在机房的机房任务通知,或者也可以同时接收,在此不作具体限定。
步骤S430,将接收到的各机房任务通知进行汇总处理。
主节点服务器在接收到主节点服务器所在机房的机房任务通知以及从节点服务器所在机房的机房任务通知后,需要对这些机房任务通知进行汇总处理,以便于后续相关人员统一查看。
步骤S440,通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。
主节点服务器在对各机房任务通知进行汇总处理后,可以根据自己所连接的对外通知服务器,将汇总后的机房任务通知发送给该对外通知服务器,这样一方面保证了各机房任务通知均被处理到,另一方面也保证了一次任务执行完成后仅向对外通知服务器发送一次汇总后的机房任务通知,避免对对外通知服务器的频繁打扰,同时便于后续人工查看。
本申请实施例通过任务通知处理系统中的主节点服务器对其他各节点服务器接收到的机房任务通知进行统一汇总处理后再发送至相应的对外通知服务器,大大降低了机房任务通知的发送量,避免了对对外通知服务器的频繁打扰,同时汇总处理后的机房任务通知也便于人工统一查看,而无需人工在各节点服务器上分别查看,降低了人工运维成本,提高了运维效率。
在本申请的一个实施例中,各节点服务器接收到的机房任务通知是由发送通知的应用调用本机房的API接口来接收到的,即和现有逻辑类似,每个机房在处理完自己的任务后,发送任务通知的应用会通过调用本机房的API接口来将任务通知发送给本机房的节点服务器上,无需跨机房调用API接口。
从图2可以看出,实际应用场景下,一个机房中通常部署有多个节点服务器,发送机房任务通知的应用在调用本机房的API接口时,无需识别要将机房任务通知具体发送给本机房的哪个节点服务器,即暴露给应用的API接口可以是无状态的,而机房内部的多个节点服务器之间可以通过负载均衡策略确定当前由谁来接收该机房任务通知,即在同一时间每个机房内可以只有一个节点服务器用于接收机房任务通知。
在本申请的一个实施例中,所述主节点服务器是通过选举算法从所述任务通知处理系统的各节点服务器中确定的,各从节点服务器保存有基于Gossip协议发送的主节点服务器的节点信息;所述接收从节点服务器发送的机房任务通知包括:接收各从节点服务器基于保存的主节点服务器的节点信息而发送的机房任务通知。
如前所述,任务通知处理系统在启动时会在多个节点服务器中确定出主节点服务器,然后由主节点服务器来承担任务通知的汇总和发送等工作。确定主节点服务器的方式可以采用现有技术中的选举算法来实现,本申请实施例这里提供了一种主节点服务器的选举流程:
1)每个节点服务器发出一个投票:由于是初始情况,每个节点服务器都会将自己作为Leader来进行投票,每次投票会包含所推举的节点服务器的标识信息,然后各自将这个投票发给集群中其他节点服务器。
2)接收来自各个节点服务器的投票:集群的每个节点服务器收到投票后,首先判断该投票的有效性,如检查是否是本轮投票等。
3)处理投票:针对每一个投票,每个节点服务器都需要将其他节点服务器的投票和自己的投票进行比较。
4)统计投票:每次投票后,每个节点服务器都会统计投票信息,判断是否已经有过半的节点服务器接收到相同的投票信息,如果是,则此时便认为已经选出了Leader。
5)改变节点服务器状态:一旦确定了Leader,每个节点服务器就会更新自己的状态,例如如果是Follower,那么节点服务器的状态就变更为Following,如果是Leader,那么节点服务器的状态就变更为Leading。
当然除了上述列举的选举算法,本领域技术人员也可以根据实际需求采用其他选举算法,如Raft选举算法等,在此不作具体限定。
在确定出了主节点服务器后,为了使各从节点服务器能够将自己接收到的机房任务通知发送给主节点服务器进行集中处理,这里可以将主节点服务器的节点信息如主节点服务器的标识或者IP地址等信息同步发送给各从节点服务器。
上述过程具体可以采用Gossip协议来实现,Gossip协议是一种基于流行病传播方式的节点或者进程之间信息交换的协议,在分布式系统中被广泛使用,Gossip协议利用一种随机的方式将信息传播到整个网络中,并在一定时间内使得系统内的所有节点数据一致,在本申请实施例中主要用于将确定出的主节点服务器的节点信息传播给各从节点服务器。
在本申请的一个实施例中,所述方法还包括:通过Gossip协议响应从节点服务器的节点状态探测请求,以使各从节点在根据节点状态探测请求的响应结果确定当前的主节点服务器故障时,通过选举算法确定新的主节点服务器。
在实际应用场景下,可能会出现主节点服务器发生故障的情况,为了避免对任务通知的处理造成影响,可以利用从节点服务器上部署的Gossip协议的探测包来对主节点服务器的存活状态进行探测,也就是说,本申请实施例可以响应于从节点服务器的节点状态探测请求,使得各从节点服务器可以通过Gossip协议中的探测包探测主节点服务器的当前状态,并在探测到主节点服务器出现故障时,通过选举算法重新确定主节点服务器,以避免对任务通知的处理造成影响,保证业务连续性。
这里的节点状态探测请求可以理解为是各种通信命令,例如从节点服务器可以向主节点服务器发送Ping命令,然后接收主节点服务器的返回值,进而可以根据返回值确定主节点服务器的节点状态。
在本申请的一个实施例中,所述将接收到的各机房任务通知进行汇总处理包括:调用与主节点服务器连接的数据存储模块的接口,将各机房任务通知存储到所述数据存储模块中,以通过所述数据存储模块实现对各机房任务通知的汇总。
本申请实施例的主节点服务器在对各机房任务通知进行汇总处理时,可以先调用与主节点服务器连接的数据存储模块的接口,然后将各机房任务通知存储到该数据库存储模块中,进而可以在数据存储模块中实现对机房任务通知的汇总处理。这里的数据存储模块可以采用Redis数据库或者Zookeeper,当然具体如何存储机房任务通知,本领域技术人员可根据实际需求灵活设置,在此不作具体限定。
在本申请的一个实施例中,所述将各机房任务通知存储到所述数据存储模块中包括:确定所述机房任务通知的标识信息;确定所述数据存储模块中是否已经存在与所述机房任务通知的标识信息对应的机房任务通知;若存在,则不将所述机房任务通知存储到所述数据存储模块中;若不存在,则将所述机房任务通知存储到所述数据存储模块中。
实际应用场景下,机房在执行任务时可能会由于设备故障等异常情况多次触发任务处理失败的结果,进而导致针对同一次任务的执行可能会接收到多次重复的机房任务通知。考虑到此种情况,本申请实施例在将机房任务通知存储到数据存储模块时,可以对机房任务通知进行去重或者过滤处理,以避免造成数据冗余,同时也便于后续相关人员查看和处理。
具体地,每一个机房任务通知中都会携带有该机房任务通知的标识信息,例如可以是该机房任务通知对应的任务执行时间批次、任务通知名称和任务执行结果等,任务执行时间批次可以理解为是该机房应当执行任务的时间批次,任务通知名称可以理解为是具体执行的任务的名称,任务执行结果(result)即机房执行任务成功或失败的结果。如下提供了一种机房任务通知的数据存储结构:
Key:任务执行时间批次-任务通知名称
Value:list:
IDC-1-result
IDC-2-result
…
根据上述这些标识信息可以在数据存储模块中进行检索匹配,确定该机房任务通知是否已经被存储,如果已经被存储,则不再重复存储,如果还没有存储,则可以直接将该机房任务通知的相关信息存储到数据存储模块中。
举例说明,假设当前接收到的机房任务通知对应的任务执行时间批次为11点的批次,任务通知名称为交易对账,任务执行结果为执行失败,如果数据存储模块中已经记录了一条与上述机房任务通知完全相同的信息,则不再重复存储。
实际应用场景下,还会出现如下情况:在执行任务时由于网络中断等异常情况导致任务暂时处理失败,此时会触发一次任务处理失败的通知,当通过重试机制重新执行任务处理时,由于网络恢复导致任务执行成功,此时会触发一次任务处理成功的通知,这时针对同一个时间批次的同一个任务的执行就产生了两种不同的执行结果,一种方式可以是将两种结果都存储到数据存储模块中,另一种方式也可以是剔除掉先前执行失败的记录,仅保留最后一次执行成功的记录。
需要说明的是,机房任务通知中携带的任务执行结果如任务执行成功或者任务执行失败能够在一定程度上说明机房是否出现异常情况,除此之外,主节点服务器在接收其他从节点服务器所在机房的机房任务通知时,也可以通过事先设置好的超时时间来确定其他从节点服务所在机房是否出现异常状态。
举例说明,假设当前有IDC1、IDC2、……IDC6六个机房,其中IDC1中的节点服务器a为当前的主节点服务器,超时时间设置为10分钟,节点服务器a在接收其他5个IDC中的从节点服务器发送的机房任务通知时会等待10分钟,如果10分钟内只收到了IDC2-IDC5中的从节点服务器发送过来的机房任务通知,而没有接收到IDC6中的从节点服务器发送过来的机房任务通知,说明IDC6中的从节点服务器可能出现了故障,对于这种异常情况也可以在汇总机房任务通知时一并记录。
在本申请的一个实施例中,所述将接收到的各机房任务通知进行汇总处理还包括:确定各机房任务通知的类型;根据各机房任务通知的类型对各机房任务通知进行汇总处理。
本申请实施例在对机房任务通知进行汇总处理时,还可以先确定机房任务通知的类型,进而可以根据机房任务通知的类型对各机房任务通知分别进行汇总处理,便于后续人工查看。
具体地,如前所述,机房任务通知中会携带有任务通知名称,任务通知名称表征了机房处理的是哪一类的具体任务,因此这里根据任务通知名称来确定机房任务通知的类型。
在本申请的一个实施例中,所述对外通知服务器包括告警平台服务器、邮件发送服务器和短信发送服务器中的一种或多种。
本申请实施例的主节点服务器在将各机房任务通知进行汇总处理后,可以将汇总处理后的机房任务通知发送给主节点服务器所在机房对应的对外通知服务器,使得对外通知服务器可以及时提醒相关人员进行后续的运维处理,节省运维时间,提高运维效率。
这里的对外通知服务器可以是告警平台服务器、邮件发送服务器或者短信发送服务器等任何具有消息提醒功能的服务器。告警平台服务器在接收到汇总处理后的机房任务通知后会针对机房任务通知中任务执行失败的情况出发告警,以使相关人员及时进行处理。邮件发送服务器和短信发送服务器会将汇总处理后的机房任务通知直接发送给相关人员进行查看和处理。
本申请实施例还提供了一种机房任务通知处理装置500,应用于任务通知处理系统中的主节点服务器,如图5所示,提供了本申请实施例一种机房任务通知处理装置的结构示意图,所述装置500包括:第一接收单元510、第二接收单元520、汇总单元530和发送单元540,其中:
第一接收单元510,用于接收主节点服务器所在机房的机房任务通知;
第二接收单元520,用于接收从节点服务器发送的从节点服务器所在机房的机房任务通知;
汇总单元530,用于将接收到的各机房任务通知进行汇总处理;
发送单元540,用于通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。
在本申请的一个实施例中,所述主节点服务器是通过选举算法从所述任务通知处理系统的各节点服务器中确定的,各从节点服务器保存有基于Gossip协议发送的主节点服务器的节点信息;所述第二接收单元520具体用于:接收各从节点服务器基于保存的主节点服务器的节点信息而发送的机房任务通知。
在本申请的一个实施例中,所述装置还包括:响应单元,用于通过Gossip协议响应从节点服务器的节点状态探测请求,以使各从节点在根据节点状态探测请求的响应结果确定当前的主节点服务器故障时,通过选举算法确定新的主节点服务器。
在本申请的一个实施例中,所述汇总单元530具体用于:调用与主节点服务器连接的数据存储模块的接口,将各机房任务通知存储到所述数据存储模块中,以通过所述数据存储模块实现对各机房任务通知的汇总。
在本申请的一个实施例中,所述汇总单元530具体用于:确定所述机房任务通知的标识信息;确定所述数据存储模块中是否已经存在与所述机房任务通知的标识信息对应的机房任务通知;若存在,则不将所述机房任务通知存储到所述数据存储模块中;若不存在,则将所述机房任务通知存储到所述数据存储模块中。
在本申请的一个实施例中,所述汇总单元530具体用于:确定各机房任务通知的类型;根据各机房任务通知的类型对各机房任务通知进行汇总处理。
在本申请的一个实施例中,所述汇总处理后的机房任务通知中包括任务执行时间批次、任务通知名称和任务执行结果中的一种或多种。
在本申请的一个实施例中,所述对外通知服务器包括告警平台服务器、邮件发送服务器和短信发送服务器中的一种或多种。
能够理解,上述机房任务通知处理装置,能够实现前述实施例中提供的由清算服务器执行的机房任务通知处理方法的各个步骤,关于机房任务通知处理方法的相关阐释均适用于机房任务通知处理装置,此处不再赘述。
图6是本申请的一个实施例电子设备的结构示意图。请参考图6,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成机房任务通知处理装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
接收主节点服务器所在机房的机房任务通知;
接收从节点服务器发送的从节点服务器所在机房的机房任务通知;
将接收到的各机房任务通知进行汇总处理;
通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。
上述如本申请图4所示实施例揭示的机房任务通知处理装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图4中机房任务通知处理装置执行的方法,并实现机房任务通知处理装置在图4所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图4所示实施例中机房任务通知处理装置执行的方法,并具体用于执行:
接收主节点服务器所在机房的机房任务通知;
接收从节点服务器发送的从节点服务器所在机房的机房任务通知;
将接收到的各机房任务通知进行汇总处理;
通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种机房任务通知处理方法,由任务通知处理系统中的主节点服务器执行,其中,所述任务通知处理系统的各节点服务器分别部署在各个机房,所述方法包括:
接收主节点服务器所在机房的机房任务通知;
接收从节点服务器发送的从节点服务器所在机房的机房任务通知;
将接收到的各机房任务通知进行汇总处理;
通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去。
2.如权利要求1所述方法,其中,所述主节点服务器是通过选举算法从所述任务通知处理系统的各节点服务器中确定的,各从节点服务器保存有基于Gossip协议发送的主节点服务器的节点信息;
所述接收从节点服务器发送的机房任务通知包括:
接收各从节点服务器基于保存的主节点服务器的节点信息而发送的机房任务通知。
3.如权利要求1所述方法,其中,所述方法还包括:
通过Gossip协议响应从节点服务器的节点状态探测请求,以使各从节点在根据节点状态探测请求的响应结果确定当前的主节点服务器故障时,通过选举算法确定新的主节点服务器。
4.如权利要求1所述方法,其中,所述将接收到的各机房任务通知进行汇总处理包括:
调用与主节点服务器连接的数据存储模块的接口,将各机房任务通知存储到所述数据存储模块中,以通过所述数据存储模块实现对各机房任务通知的汇总。
5.如权利要求4所述方法,其中,所述将各机房任务通知存储到所述数据存储模块中包括:
确定所述机房任务通知的标识信息;
确定所述数据存储模块中是否已经存在与所述机房任务通知的标识信息对应的机房任务通知;
若存在,则不将所述机房任务通知存储到所述数据存储模块中;
若不存在,则将所述机房任务通知存储到所述数据存储模块中。
6.如权利要求1所述方法,其中,所述将接收到的各机房任务通知进行汇总处理还包括:
确定各机房任务通知的类型;
根据各机房任务通知的类型对各机房任务通知进行汇总处理。
7.如权利要求1所述方法,其中,所述汇总处理后的机房任务通知中包括任务执行时间批次、任务通知名称和任务执行结果中的一种或多种。
8.一种机房任务通知处理装置,应用于任务通知处理系统中的主节点服务器,其中,所述装置用于实现权利要求1~8之任一所述方法。
9.一种任务通知处理系统,所述系统包括主节点服务器和从节点服务器;
所述主节点服务器,用于接收主节点服务器所在机房的机房任务通知,以及接收从节点服务器发送的从节点服务器所在机房的机房任务通知,将接收到的各机房任务通知进行汇总处理,通过与所述主节点服务器连接的对外通知服务器,将汇总处理后的机房任务通知发送出去;
所述从节点服务器,用于接收本从节点服务器所在机房的机房任务通知,并将接收到的机房任务通知发送给所述主节点服务器。
10.如权利要求9所述系统,其中,
所述从节点服务器,用于向所述主节点服务器发送节点状态探测请求,并接收所述主节点服务器对节点状态探测请求的响应结果,在根据所述响应结果确定当前的主节点服务器故障时,通过选举算法确定新的主节点服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111527738.XA CN116263696A (zh) | 2021-12-14 | 2021-12-14 | 一种机房任务通知处理方法、装置及任务通知处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111527738.XA CN116263696A (zh) | 2021-12-14 | 2021-12-14 | 一种机房任务通知处理方法、装置及任务通知处理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116263696A true CN116263696A (zh) | 2023-06-16 |
Family
ID=86722256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111527738.XA Pending CN116263696A (zh) | 2021-12-14 | 2021-12-14 | 一种机房任务通知处理方法、装置及任务通知处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116263696A (zh) |
-
2021
- 2021-12-14 CN CN202111527738.XA patent/CN116263696A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111585867B (zh) | 消息处理方法、装置、电子设备及可读存储介质 | |
CN108737132B (zh) | 一种告警信息处理方法及装置 | |
CN109788068B (zh) | 心跳状态信息上报方法、装置和设备及计算机存储介质 | |
CN110888889A (zh) | 一种数据信息更新方法、装置及设备 | |
CN113067875B (zh) | 基于微服务网关动态流控的访问方法和装置以及设备 | |
WO2022135158A1 (zh) | 交易请求的处理方法、装置及交易转接系统 | |
CN111104239A (zh) | 一种分布式存储集群的硬盘故障处理方法、系统及装置 | |
US11930292B2 (en) | Device state monitoring method and apparatus | |
CN112437155B (zh) | 服务数据的处理方法、装置以及服务端设备 | |
CN112068935A (zh) | kubernetes程序部署监控方法、装置以及设备 | |
CN113596195B (zh) | 公共ip地址管理方法、装置、主节点及存储介质 | |
CN115037653B (zh) | 业务流量监控方法、装置、电子设备和存储介质 | |
CN113568781B (zh) | 一种数据库错误处理方法、装置及数据库集群访问系统 | |
CN116263696A (zh) | 一种机房任务通知处理方法、装置及任务通知处理系统 | |
CN114090293A (zh) | 一种服务提供方法及电子设备 | |
CN115604088A (zh) | 组件集群系统的主备切换方法、装置、设备及存储介质 | |
CN115033927A (zh) | 一种检测数据完整性的方法、装置、设备及介质 | |
CN114443438A (zh) | 节点状态的检测方法、节点异常的处理方法及装置 | |
CN112463317A (zh) | 机房任务调度方法、装置、电子设备及存储介质 | |
CN111984484A (zh) | 无侵入式微服务接入方法及系统 | |
CN111708676A (zh) | 实例集群的监控方法、装置和服务器 | |
CN115168489B (zh) | 基于区块链的数据存证方法和装置 | |
CN116643852A (zh) | 定时任务的核查方法及装置 | |
CN116266178A (zh) | 一种数据库校验方法、装置 | |
CN115525386A (zh) | 一种虚拟机隔离方法及装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |