CN113127201A - 故障应用服务器隔离方法及装置、电子设备和存储介质 - Google Patents

故障应用服务器隔离方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113127201A
CN113127201A CN202110440635.3A CN202110440635A CN113127201A CN 113127201 A CN113127201 A CN 113127201A CN 202110440635 A CN202110440635 A CN 202110440635A CN 113127201 A CN113127201 A CN 113127201A
Authority
CN
China
Prior art keywords
application server
state information
server
time interval
health state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110440635.3A
Other languages
English (en)
Inventor
王存彪
康倩
马岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110440635.3A priority Critical patent/CN113127201A/zh
Publication of CN113127201A publication Critical patent/CN113127201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种故障应用服务器隔离方法及装置、电子设备和存储介质,本公开可应用于大数据领域,也可应用于除大数据领域之外的其他领域。该方法包括:每隔第一预设时间间隔,获取每台应用服务器的健康状态信息,其中健康状态信息包括用于表征每台应用服务器是否正常工作的服务器状态信息、用于表征每台应用服务器与中间件服务器的连接是否正常的中间件连接状态信息、以及用于表征每台应用服务器与数据库服务器的连接是否正常的数据库连接状态信息;根据每台应用服务器的健康状态信息定位故障应用服务器,其中故障应用服务器为在单个第一预设时间间隔内,健康状态为异常的应用服务器;以及将故障应用服务器隔离。

Description

故障应用服务器隔离方法及装置、电子设备和存储介质
技术领域
本公开涉及大数据技术领域,更具体地,涉及一种故障应用服务器隔离方法及装置、电子设备、存储介质和计算机程序产品。
背景技术
当前金融业客户数量明显增大,应用服务器压力也逐步增大,需要部署更多的服务器来提高系统性能,负载均衡能将任务平衡、分摊到应用服务器上。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:负载均衡给应用服务器分配任务的过程中,无法确定应用服务器工作状态是否正常,进而不能对异常服务器进行隔离。如果应用服务器出现磁盘异常、与数据库的连接异常、与Redis缓存等中间件连接异常的情况等,负载均衡的转发准确性低,负载均衡还继续将任务分配给应用服务器,引发应用服务器业务逻辑执行报错,导致生产报错激增。
发明内容
有鉴于此,本公开提供了一种故障应用服务器隔离方法及装置、电子设备、存储介质和计算机程序产品。
本公开的一个方面提供了一种故障应用服务器隔离方法,包括:
每隔第一预设时间间隔,获取每台应用服务器的健康状态信息,其中健康状态信息包括用于表征每台应用服务器是否正常工作的服务器状态信息、用于表征每台应用服务器与中间件服务器的连接是否正常的中间件连接状态信息、以及用于表征每台应用服务器与数据库服务器的连接是否正常的数据库连接状态信息;根据每台应用服务器的健康状态信息定位故障应用服务器,其中故障应用服务器为在单个第一预设时间间隔内,健康状态为异常的应用服务器;以及将故障应用服务器隔离。
根据本公开的实施例,该方法还包括:
在将故障应用服务器隔离后,将与故障应用服务器连接的中间件服务器切换至备用中间件服务器,或者将与故障应用服务器连接的数据库服务器切换至备用数据库服务器;以及当故障应用服务器的健康状态恢复正常后,将健康状态恢复正常的故障应用服务器终止隔离。
根据本公开的实施例,其中:健康状态信息通过定时检查任务被预先存储在每台应用服务器内存中;其中,每隔第一预设时间间隔,获取每台应用服务器的健康状态信息包括:每隔第一预设时间间隔,从每台应用服务器内存中获取每台应用服务器的健康状态信息。
根据本公开的实施例,其中:定时检查任务用于每隔第二预设时间间隔,更新每台应用服务器的健康状态信息、并且将更新后的健康状态信息存储在每台应用服务器内存中。
根据本公开的实施例,其中:第二预设时间间隔大于第一预设时间间隔。
根据本公开的实施例,其中,每隔第一预设时间间隔,获取每台应用服务器的健康状态信息包括:每隔第一预设时间间隔,通过检查任务对每台应用服务器的健康状态进行检测,得到每台应用服务器的健康状态信息。
根据本公开的实施例,其中,根据每台应用服务器的健康状态信息定位故障应用服务器包括:当服务器状态信息、中间件连接状态信息、数据库连接状态信息中的任一项为异常的情况下,将应用服务器确定为故障应用服务器。
根据本公开的实施例,其中:服务器状态信息包括用于表征应用服务器磁盘是否正常工作的磁盘状态信息、用于表征应用服务器内存使用率是否超过预设阈值的内存使用率信息、以及用于表征应用服务器CPU使用率是否超过预设阈值的CPU使用率信息。
本公开的另一个方面提供了一种故障应用服务器隔离装置,包括获取模块、定位模块和隔离模块。
其中获取模块,用于每隔第一预设时间间隔,获取每台应用服务器的健康状态信息,其中健康状态信息包括用于表征每台应用服务器是否正常工作的服务器状态信息、用于表征每台应用服务器与中间件服务器的连接是否正常的中间件连接状态信息、以及用于表征每台应用服务器与数据库服务器的连接是否正常的数据库连接状态信息。
定位模块,用于根据每台应用服务器的健康状态信息定位故障应用服务器,其中故障应用服务器为在单个第一预设时间间隔内,健康状态为异常的应用服务器。
隔离模块,用于将故障应用服务器隔离。
根据本公开的实施例,上述装置还包括切换模块和恢复模块。
其中,切换模块,用于在将故障应用服务器隔离后,将与故障应用服务器连接的中间件服务器切换至备用中间件服务器,或者将与故障应用服务器连接的数据库服务器切换至备用数据库服务器。
恢复模块,用于当故障应用服务器的健康状态恢复正常后,将健康状态恢复正常的故障应用服务器终止隔离。
根据本公开的实施例,上述获取模块中,健康状态信息通过定时检查任务被预先存储在每台应用服务器内存中;其中,上述获取模块包括第一获取单元,用于每隔第一预设时间间隔,从每台应用服务器内存中获取每台应用服务器的健康状态信息。
根据本公开的实施例,上述定时检查任务用于每隔第二预设时间间隔,更新每台应用服务器的健康状态信息、并且将更新后的健康状态信息存储在每台应用服务器内存中。
根据本公开的实施例,其中:上述第二预设时间间隔大于第一预设时间间隔。
根据本公开的实施例,其中,上述获取模块包括第二获取单元,用于每隔第一预设时间间隔,通过检查任务对每台应用服务器的健康状态进行检测,得到每台应用服务器的健康状态信息。
根据本公开的实施例,其中,上述定位模块中,根据每台应用服务器的健康状态信息定位故障应用服务器包括:当服务器状态信息、中间件连接状态信息、数据库连接状态信息中的任一项为异常的情况下,将应用服务器确定为故障应用服务器。
根据本公开的实施例,上述获取模块中:服务器状态信息包括用于表征应用服务器磁盘是否正常工作的磁盘状态信息、用于表征应用服务器内存使用率是否超过预设阈值的内存使用率信息、以及用于表征应用服务器CPU使用率是否超过预设阈值的CPU使用率信息。
本公开的另一个方面提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的故障应用服务器隔离方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的故障应用服务器隔离方法。
本公开的另一方面提供了一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现如上所述的故障应用服务器隔离方法。
根据本公开的实施例,因为采用了通过定时监测来获取每台应用服务器的服务器状态信息、中间件连接状态信息、以及数据库连接状态信息的技术手段,所以至少部分地克服了现有技术中因无法对应用服务器进行深度检测导致在服务器磁盘、内存等出现异常、以及服务器与数据库或者Redis缓存等中间件连接异常的情况下,负载均衡还继续将任务分配给应用服务器,进而引起应用服务器业务逻辑执行报错,导致生产报错激增的技术问题,进而提高了负载均衡的转发准确性,降低了生产报错。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了可以应用本公开的方法和装置的示例性系统架构;
图2示意性示出了根据本公开实施例的故障应用服务器隔离方法的流程图;
图3示例性示出了可以应用本公开实施例的故障应用服务器隔离方法的系统结构图;
图4示意性示出了根据本公开另一实施例的故障应用服务器隔离方法的流程图;
图5示意性示出了根据本公开实施例的故障应用服务器隔离装置的框图;以及
图6示意性示出了根据本公开实施例的用于实现故障应用服务器隔离方法的电子设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在对本公开的实施例进行详细阐述之前,先对本公开实施例提供的方法所涉及的系统结构以及应用场景进行如下介绍。
图1示意性示出了可以应用本公开的方法和装置的示例性系统架构100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括用户101、负载均衡102、应用服务器103、探测项104。应用服务器103可包括多台,由多台应用服务器103组成服务集群。其中负载均衡102可以为硬件负载均衡设备,如F5负载均衡器,也可以为软件负载均衡,通过负载均衡服务器实现负载均衡,也可以是硬件负载均衡设备和软件负载均衡的结合。探测项104可包括应用服务器103自身的硬件,如磁盘、内存、CPU等;可包括各种中间件服务器,如Redis、MQ、Kafka等;还可包括数据库服务器。需要说明的是,探测项104包括但不限于上述设备。
根据本公开的实施例,负载均衡102调用应用服务器103的深度健康检查接口获取应用服务器103的健康状态,包括各个探测项104的健康状态,如探测项104可包括包括用于表征每台应用服务器103是否正常工作的服务器状态信息(比如用于表征应用服务器103磁盘是否正常工作的磁盘状态信息、用于表征应用服务器103内存使用率是否超过预设阈值的内存使用率信息、以及用于表征应用服务器103CPU使用率是否超过预设阈值的CPU使用率信息)、用于表征每台应用服务器103与中间件服务器(如Redis、MQ、Kafka等)的连接是否正常的中间件连接状态信息、以及用于表征每台应用服务器与数据库服务器的连接是否正常的数据库连接状态信息。
根据本公开的实施例,用户101通过向应用服务器103发出的访问请求,负载均衡102将访问请求分配至应用服务器103,实现负载均衡。同时,应用服务器103提供深度健康检查接口,供负载均衡102访问,负载均衡102主动调用应用服务器103的深度健康检查接口,获取应用服务器103的健康状态,如果接口返回正常则继续给这台应用服务器分配任务,如果接口返回非正常则将这台应用服务器隔离。
应该理解,图1中的负载均衡102、应用服务器103的数目仅仅是示意性的。根据实现需要,可以具有任意数目的负载均衡102、应用服务器103。
需要说明的是,本公开的故障应用服务器隔离方法及装置可用于大数据领域,也可应用于除大数据领域之外的其他领域,本公开对故障应用服务器隔离方法及装置的应用领域不做限定。
随着当前金融业客户数量明显增大,应用服务器压力也逐步增大,需要部署更多的服务器来提高系统性能,负载均衡能将任务平衡、分摊到应用服务器上。
在实现本公开构思的过程中发现,负载均衡给应用服务器分配任务的过程中,可通过应用服务器提供健康检查接口供负载均衡探测,接口返回0表示服务器正常,负载均衡可以转发请求;接口返回为1表示服务器异常,负载均衡将当前服务器隔离不再转发请求。但是,若只提供简单的健康检查接口供负载均衡探测,如只通过简单的网页访问测试来决定应用服务器的工作状态是否正常,则难以确定在更加复杂的情况下应用服务器工作状态是否正常,如应用服务器出现磁盘异常、与数据库的连接异常、与Redis缓存等中间件连接异常的情况等,负载均衡无法检测这些异常,还继续将任务分配给应用服务器,引起应用服务器业务逻辑执行报错,负载均衡的转发准确性低、导致生产报错激增。
因此,本公开实施例提供一种可对应用服务器的健康状态进行深度健康检查的方法,以提升负载均衡隔离异常服务器的准确性。
图2示意性示出了根据本公开实施例的故障应用服务器隔离方法的流程图,图3示例性示出了可以应用本公开实施例的故障应用服务器隔离方法的系统结构图。以下结合图2、3对该方法进行说明。
如图2所示,该方法包括操作S201~S203。如图3所示,根据该实施例的系统结构包括客户端301、应用服务器303,应用服务器303可包括多台,由多台应用服务器303组成应用服务器集群。还包括负载均衡302,其中负载均衡302可以为硬件负载均衡设备,如F5负载均衡器3021,也可以为软件负载均衡,通过一台或多台负载均衡服务器3022实现负载均衡,也可以是硬件负载均衡设备和软件负载均衡的结合。该系统还包括与应用服务器303连接的中间件服务器304,可包括Redis、MQ、Kafka等;还包括与应用服务器303连接的数据库服务器306。其中,中间件服务器304与数据库服务器306可设有相应的备用中间件服务器、和备用数据库服务器。图中,305表示代表应用服务器303自身状态指标的被检测项,如磁盘、内存、CPU等。
在操作S201,每隔第一预设时间间隔,获取每台应用服务器303的健康状态信息,其中健康状态信息包括用于表征每台应用服务器303是否正常工作的服务器状态信息(如磁盘、内存、CPU等的状态信息)、用于表征每台应用服务器303与中间件服务器304的连接是否正常的中间件连接状态信息、以及用于表征每台应用服务器303与数据库服务器306的连接是否正常的数据库连接状态信息。
根据本公开的实施例,客户端301通过向应用服务器303发出的访问请求,负载均衡302将访问请求分配至应用服务器303,实现负载均衡。同时,应用服务器303提供深度健康检查接口,供负载均衡302访问,负载均衡202调用应用服务器303的深度健康检查接口获取每台应用服务器303的健康状态信息。通过深度健康检查接口获取或查询:代表服务器状态信息的标志(如磁盘状态信息标志DISKSTATUS)、代表中间件连接状态信息的标志(如Redis服务器连接状态标志REDISSTATUS)、以及代表数据库连接状态信息的标志(DBSTATUS)。该深度健康检查接口提供扩展插槽,当增加检测项时可以直接配置并探测。
以下举例说明获取每台应用服务器303的健康状态信息的具体检测方法。
(1)检测数据库服务器306以获取数据库连接状态信息:通过添加SQL语句(示例:select 1from dual)去数据库查询,如果返回值为1则正常(DBSTATUS为0),代表应用服务器303与数据库服务器306的连接正常,反之返回其他值则代表连接异常(DBSTATUS为1)。
(2)检测磁盘状态以获取服务器磁盘状态信息:应用服务器303新建一个文件,并在文件中输出任意字符(如:healthCheck),若该过程中没有抛出异常,则代表磁盘状态正常(DISKSTATUS为0),如果抛出异常,则代表磁盘状态异常(DISKSTATUS为1),检测完之后则删除该新建的文件。
(3)检测Redis服务器以获取中间件连接状态信息:通过程序在被检测Redis服务器中写入一个test行(键值对),并设置超时时间为1毫秒,保证新增的数据在1毫秒失效不影响生产性能。若能够通过写入的键Key获取相应的值Value,则认为该过程无异常,应用服务器303与中间件服务器304的连接正常(REDISSTATUS为0),反之,如果无法通过写入的键Key获取相应的值Value,则表示应用服务器303与中间件服务器304的连接出现异常(REDISSTATUS为1)。
通过上述操作获取到每台应用服务器303的健康状态信息后,在操作S202,根据每台应用服务器303的健康状态信息定位故障应用服务器,其中故障应用服务器为在单个第一预设时间间隔内,健康状态为异常的应用服务器。以及在操作S203,及将故障应用服务器隔离,负载均衡302将暂时不再向该故障应用服务器转发请求。
根据本公开的实施例,因为采用了通过定时监测来获取每台应用服务器的服务器状态信息、中间件连接状态信息、以及数据库连接状态信息的技术手段,所以至少部分地克服了现有技术中因无法对应用服务器进行深度检测导致在服务器磁盘、内存等出现异常、以及服务器与数据库或者Redis缓存等中间件连接异常的情况下,负载均衡还继续将任务分配给应用服务器,进而引起应用服务器业务逻辑执行报错,导致生产报错激增的技术问题,进而提高了负载均衡的转发准确性,降低了生产报错。
根据本公开的实施例,上述操作S202中,根据每台应用服务器的健康状态信息定位故障应用服务器包括:当服务器状态信息、中间件连接状态信息、数据库连接状态信息中的任一项为异常的情况下,将应用服务器确定为故障应用服务器。即通过深度健康检查接口获取或查询代表每台服务器状态信息的标志(如磁盘状态信息标志DISKSTATUS)、代表中间件连接状态信息的标志(如Redis服务器连接状态标志REDISSTATUS)、以及代表数据库连接状态信息的标志(DBSTATUS),如果上述标志中有任一项为异常,则返回返回1(代表非健康),并将该应用服务器确定为故障应用服务器,停止对其转发请阿牛。只有当上述标志中全部正常的时候,返回0(代非健康),则可以继续向该应用服务器转发请求。
根据本公开的实施例,其中:上述服务器状态信息包括但不限于用于表征应用服务器磁盘是否正常工作的磁盘状态信息、用于表征应用服务器内存使用率是否超过预设阈值的内存使用率信息、以及用于表征应用服务器CPU使用率是否超过预设阈值的CPU使用率信息。
根据本公开的实施例,操作S201,获取每台应用服务器的健康状态信息,可采用实时探测的方式,也可采用异步探测方式。以下分别进行介绍。
根据本公开的实施例,获取每台应用服务器的健康状态信息时,采用实时探测的方式,具体为:每隔第一预设时间间隔,通过检查任务对每台应用服务器的健康状态进行检测,得到每台应用服务器的健康状态信息。该方式下,负载均衡调用应用服务器的深度健康检查接口获取每台应用服务器的健康状态信息时,例如,可通过实时程序去实时探测数据库服务器、磁盘状态、Redis服务器等,以获取数据库连接状态信息、服务器磁盘状态信息、中间件连接状态信息。
根据本公开的实施例,因负载均衡访问深度健康检查接口的频率非常快,为了减轻应用服务器的压力,获取每台应用服务器的健康状态信息时,采用异步探测的方式,具体为:健康状态信息通过定时检查任务被预先存储在每台应用服务器内存中;每隔第一预设时间间隔,从每台应用服务器内存中获取每台应用服务器的健康状态信息。
其中:定时检查任务用于每隔第二预设时间间隔,更新每台应用服务器的健康状态信息、并且将更新后的健康状态信息存储在每台应用服务器内存中。
例如,应用服务器创建一个每10秒(时间可自由配置)执行一次的定时任务,定时任务定时检查与数据库服务器和Redi服务器的连接情况,定时检查磁盘状态等,并将检查结果存入内存中。
负载均衡通过访问深度健康检查接口读取内存中的检查结果,即服务器状态信息、中间件连接状态信息、数据库连接状态信息,如果都正常则给负载均衡返回0(正常),否则给负载均衡返回1(非正常)。负载均衡根据深度健康检查接口的返回值决定是否给当前的应用服务器分配任务。具体地,应用服务器通过定时任务,每隔10秒获取检查结果,若检查结果正常,则将内存中的DBSTATUS、DISKSTATUS、REDISSTATUS置为正常,否则将对应的状态置为异常。定时任务也支持扩展,当增加检测项时可以直接调用。
根据本公开的实施例,采用异步探测的方式,将获取每台应用服务器的健康状态信息和探测数据库服务器、服务器状态、中间件服务器使用异步方式隔离开来,在获取每台应用服务器的健康状态信息时,只需从内存中读取健康状态信息即可,不必实时去探测,减轻了应用服务器压力,提高了处理效率。
根据本公开的实施例,其中:上述定时检查任务执行任务的第二预设时间间隔大于第一预设时间间隔(即负载均衡通过访问深度健康检查接口读取内存中的检查结果的时间间隔)。例如,第一预设时间间隔设为4秒时(即负载均衡是每4秒探测一次),第二预设时间间隔可设为10秒。因负载均衡的机器数量不确定,并且负载均衡访问深度健康检查接口的时间比较频繁,将第二预设时间间隔设置为大于第一预设时间间隔,可进一步减轻应用服务器压力。
图4示意性示出了根据本公开另一实施例的故障应用服务器隔离方法的流程图。如图4所示,该方法包括操作S401~S405。
在该实施例中,操作S401~S403可参考图2描述的操作S201~S203,为了描述的简洁起见,这里省略对操作S401~S403的描述,仅对S404~S405说明。
在操作404,在将故障应用服务器隔离后,将与故障应用服务器连接的中间件服务器切换至备用中间件服务器,或者将与故障应用服务器连接的数据库服务器切换至备用数据库服务器。
在操作S405,当故障应用服务器的健康状态恢复正常后,将健康状态恢复正常的故障应用服务器终止隔离。
根据本公开的实施例,通过将与故障应用服务器连接的中间件服务器切换至备用中间件服务器,或者将与故障应用服务器连接的数据库服务器切换至备用数据库服务器,可在应用服务器与中间件服务器连接异常、或者应用服务器与数据库服务器连接异常的情况下,自动修复异常连接,使得与之相连的应用服务器可重新恢复工作,避免了系统资源的浪费。
本公开的另一个方面提供了一种故障应用服务器隔离装置,图5示意性示出了根据本公开实施例的故障应用服务器隔离装置500的框图,
如图5所示,该装置包括获取模块501、定位模块502和隔离模块503。该装置可以用来实现参考图2所示的方法。
其中获取模块501,用于每隔第一预设时间间隔,获取每台应用服务器的健康状态信息,其中健康状态信息包括用于表征每台应用服务器是否正常工作的服务器状态信息、用于表征每台应用服务器与中间件服务器的连接是否正常的中间件连接状态信息、以及用于表征每台应用服务器与数据库服务器的连接是否正常的数据库连接状态信息。
定位模块502,用于根据每台应用服务器的健康状态信息定位故障应用服务器,其中故障应用服务器为在单个第一预设时间间隔内,健康状态为异常的应用服务器。
隔离模块503,用于将故障应用服务器隔离。
根据本公开的实施例,通过获取模块501来获取每台应用服务器的健康状态信息,即服务器状态信息、中间件连接状态信息、以及数据库连接状态信息,进而可实现通过定位模块502定位故障应用服务器并将其隔离,所以至少部分地克服了现有技术中因无法对应用服务器进行深度检测导致在服务器磁盘、内存等出现异常、以及服务器与数据库或者Redis缓存等中间件连接异常的情况下,负载均衡还继续将任务分配给应用服务器,进而引起应用服务器业务逻辑执行报错,导致生产报错激增的技术问题,进而提高了负载均衡的转发准确性,降低了生产报错。
根据本公开的实施例,上述装置还包括切换模块和恢复模块。
其中,切换模块,用于在将故障应用服务器隔离后,将与故障应用服务器连接的中间件服务器切换至备用中间件服务器,或者将与故障应用服务器连接的数据库服务器切换至备用数据库服务器。
恢复模块,用于当故障应用服务器的健康状态恢复正常后,将健康状态恢复正常的故障应用服务器终止隔离。
根据本公开的实施例,上述获取模块中,健康状态信息通过定时检查任务被预先存储在每台应用服务器内存中;其中,上述获取模块包括第一获取单元,用于每隔第一预设时间间隔,从每台应用服务器内存中获取每台应用服务器的健康状态信息。
根据本公开的实施例,上述定时检查任务用于每隔第二预设时间间隔,更新每台应用服务器的健康状态信息、并且将更新后的健康状态信息存储在每台应用服务器内存中。
根据本公开的实施例,其中:上述第二预设时间间隔大于第一预设时间间隔。
根据本公开的实施例,其中,上述获取模块包括第二获取单元,用于每隔第一预设时间间隔,通过检查任务对每台应用服务器的健康状态进行检测,得到每台应用服务器的健康状态信息。
根据本公开的实施例,其中,上述定位模块中,根据每台应用服务器的健康状态信息定位故障应用服务器包括:当服务器状态信息、中间件连接状态信息、数据库连接状态信息中的任一项为异常的情况下,将应用服务器确定为故障应用服务器。
根据本公开的实施例,上述获取模块中:服务器状态信息包括用于表征应用服务器磁盘是否正常工作的磁盘状态信息、用于表征应用服务器内存使用率是否超过预设阈值的内存使用率信息、以及用于表征应用服务器CPU使用率是否超过预设阈值的CPU使用率信息。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,获取模块501、定位模块502和隔离模块503中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,获取模块501、定位模块502和隔离模块503中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块501、定位模块502和隔离模块503中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图6示意性示出了根据本公开实施例的用于实现故障应用服务器隔离方法的电子设备的框图。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,根据本公开实施例的电子设备600包括处理器601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中,存储有电子设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备600还可以包括输入/输出(I/O)接口605,输入/输出(I/O)接口605也连接至总线604。系统600还可以包括连接至I/O接口606的以下部件中的一项或多项:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行本公开实施例所提供的方法的程序代码,当计算机程序产品在电子设备上运行时,该程序代码用于使电子设备实现本公开实施例所提供的故障应用服务器隔离方法。
在该计算机程序被处理器601执行时,执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分609被下载和安装,和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种故障应用服务器隔离方法,包括:
每隔第一预设时间间隔,获取每台应用服务器的健康状态信息,其中所述健康状态信息包括用于表征每台所述应用服务器是否正常工作的服务器状态信息、用于表征每台所述应用服务器与中间件服务器的连接是否正常的中间件连接状态信息、以及用于表征每台所述应用服务器与数据库服务器的连接是否正常的数据库连接状态信息;
根据每台所述应用服务器的健康状态信息定位故障应用服务器,其中所述故障应用服务器为在单个所述第一预设时间间隔内,健康状态为异常的应用服务器;以及
将所述故障应用服务器隔离。
2.根据权利要求1所述的方法,还包括:
在将所述故障应用服务器隔离后,将与所述故障应用服务器连接的中间件服务器切换至备用中间件服务器,或者将与所述故障应用服务器连接的数据库服务器切换至备用数据库服务器;以及
当所述故障应用服务器的健康状态恢复正常后,将健康状态恢复正常的故障应用服务器终止隔离。
3.根据权利要求1所述的方法,其中:
所述健康状态信息通过定时检查任务被预先存储在每台所述应用服务器内存中;
其中,所述每隔第一预设时间间隔,获取每台应用服务器的健康状态信息包括:
每隔所述第一预设时间间隔,从每台所述应用服务器内存中获取每台所述应用服务器的健康状态信息。
4.根据权利要求3所述的方法,其中:
所述定时检查任务用于每隔第二预设时间间隔,更新每台所述应用服务器的健康状态信息、并且将更新后的健康状态信息存储在每台所述应用服务器内存中。
5.根据权利要求4所述的方法,其中:
所述第二预设时间间隔大于所述第一预设时间间隔。
6.根据权利要求1所述的方法,其中,所述每隔第一预设时间间隔,获取每台应用服务器的健康状态信息包括:
每隔所述第一预设时间间隔,通过检查任务对每台所述应用服务器的健康状态进行检测,得到每台所述应用服务器的健康状态信息。
7.根据权利要求1所述的方法,其中,所述根据每台所述应用服务器的健康状态信息定位故障应用服务器包括:
当所述服务器状态信息、所述中间件连接状态信息、所述数据库连接状态信息中的任一项为异常的情况下,将所述应用服务器确定为故障应用服务器。
8.根据权利要求1所述的方法,其中:
所述服务器状态信息包括用于表征应用服务器磁盘是否正常工作的磁盘状态信息、用于表征应用服务器内存使用率是否超过预设阈值的内存使用率信息、以及用于表征应用服务器CPU使用率是否超过预设阈值的CPU使用率信息。
9.一种故障应用服务器隔离装置,包括:
获取模块,用于每隔第一预设时间间隔,获取每台应用服务器的健康状态信息,其中所述健康状态信息包括用于表征每台所述应用服务器是否正常工作的服务器状态信息、用于表征每台所述应用服务器与中间件服务器的连接是否正常的中间件连接状态信息、以及用于表征每台所述应用服务器与数据库服务器的连接是否正常的数据库连接状态信息;
定位模块,用于根据每台所述应用服务器的健康状态信息定位故障应用服务器,其中所述故障应用服务器为在单个所述第一预设时间间隔内,健康状态为异常的应用服务器;以及
隔离模块,用于将所述故障应用服务器隔离。
10.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至8中任一项所述的方法。
12.一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现权利要求1至8中任一项所述的方法。
CN202110440635.3A 2021-04-23 2021-04-23 故障应用服务器隔离方法及装置、电子设备和存储介质 Pending CN113127201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110440635.3A CN113127201A (zh) 2021-04-23 2021-04-23 故障应用服务器隔离方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110440635.3A CN113127201A (zh) 2021-04-23 2021-04-23 故障应用服务器隔离方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113127201A true CN113127201A (zh) 2021-07-16

Family

ID=76779453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110440635.3A Pending CN113127201A (zh) 2021-04-23 2021-04-23 故障应用服务器隔离方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113127201A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568772A (zh) * 2021-07-23 2021-10-29 中信银行股份有限公司 一种中间件排查故障方法、装置、设备及可读存储介质
WO2023082765A1 (zh) * 2021-11-12 2023-05-19 中兴通讯股份有限公司 服务器状态控制方法、系统及存储介质
WO2023202182A1 (zh) * 2022-04-20 2023-10-26 京东科技信息技术有限公司 后端服务器管理方法、装置、可读介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568772A (zh) * 2021-07-23 2021-10-29 中信银行股份有限公司 一种中间件排查故障方法、装置、设备及可读存储介质
WO2023082765A1 (zh) * 2021-11-12 2023-05-19 中兴通讯股份有限公司 服务器状态控制方法、系统及存储介质
WO2023202182A1 (zh) * 2022-04-20 2023-10-26 京东科技信息技术有限公司 后端服务器管理方法、装置、可读介质及电子设备

Similar Documents

Publication Publication Date Title
CN113127201A (zh) 故障应用服务器隔离方法及装置、电子设备和存储介质
US8381033B2 (en) Fault management in virtual computing environments
CN107526647B (zh) 一种故障处理方法、系统和计算机程序产品
CN113162808B (zh) 存储链路故障处理方法及装置、电子设备和存储介质
US10225272B2 (en) Ordered correction of application based on dependency topology
US11656959B2 (en) Disaster recovery region recommendation system and method
CN115617610A (zh) 一种基于Kubernetes的旁路无侵入式应用运行中的全行为监测方法及系统
US20180095819A1 (en) Incident analysis program, incident analysis method, information processing device, service identification program, service identification method, and service identification device
US20210173759A1 (en) Dynamic distributed tracing instrumentation in a microservice architecture
CN111698131B (zh) 信息处理方法、装置、电子设备和介质
CN114884796A (zh) 故障处理方法、装置、电子设备及存储介质
CN111611086A (zh) 信息处理方法、装置、电子设备和介质
CN112817831A (zh) 应用性能监测方法、装置、计算机系统和可读存储介质
WO2014204470A1 (en) Generating a fingerprint representing a response of an application to a simulation of a fault of an external service
US20120054324A1 (en) Device, method, and storage medium for detecting multiplexed relation of applications
CN114760233A (zh) 业务处理方法、装置、电子设备及存储介质
US20230367661A1 (en) Aggregated health monitoring of a cluster during test automation
US8954932B2 (en) Crash notification between debuggers
CN116841902A (zh) 健康状态检查方法、装置、设备及存储介质
US10496520B2 (en) Request monitoring to a code set
US20120311391A1 (en) Failure data management for a distributed computer system
CN114257496B (zh) 服务节点自隔离方法及系统
CN113127363B (zh) 参数调整方法、参数调整装置、电子设备及可读存储介质
US11269729B1 (en) Overloading a boot error signaling mechanism to enable error mitigation actions to be performed
US11036624B2 (en) Self healing software utilizing regression test fingerprints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination