CN109284267A - 基于异常监控的日志管理方法及终端设备 - Google Patents
基于异常监控的日志管理方法及终端设备 Download PDFInfo
- Publication number
- CN109284267A CN109284267A CN201811121955.7A CN201811121955A CN109284267A CN 109284267 A CN109284267 A CN 109284267A CN 201811121955 A CN201811121955 A CN 201811121955A CN 109284267 A CN109284267 A CN 109284267A
- Authority
- CN
- China
- Prior art keywords
- journal file
- server
- level
- client
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
Abstract
本发明适用于数据处理技术领域,提供了基于异常监控的日志管理方法、终端设备以及计算机可读存储介质,包括:对集群系统中的多个主机进行性能分析,得到每个主机的性能指标;对性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的主机配置为一级服务端,并将除一级服务端之外的多个主机配置为客户端,客户端用于向一级服务端发送日志文件;若检测出一级服务端接收到日志文件,则查看日志文件中是否存在告警内容;若日志文件中存在告警内容,则获取日志文件中的标识信息,并基于告警内容和标识信息生成并输出第一告警信息。本发明通过在集群系统中配置一级服务端和客户端,实现了对多个主机产生的日志文件的综合管理。
Description
技术领域
本发明属于数据处理技术领域,尤其涉及基于异常监控的日志管理方法、终端设备以及计算机可读存储介质。
背景技术
随着信息技术的发展,计算机的运行情况可用日志进行记录,通过查看日志文件,便可快捷地了解到计算机底层的运行信息。通常来说,计算机在生成日志文件后,会将日志文件保存在该计算机本身的某个文件目录内。
现有技术中,在包含多个主机的集群系统中,如果想要访问某个主机的日志,则通常是先访问跳板机,再通过跳板机登录到该主机上,从而在该主机特定的文件目录下查找日志文件,访问过程复杂,并且在想要同时访问多个主机的日志的情况下,操作非常繁琐。综上,在现有技术中无法对集群系统中的多个主机的日志进行综合管理。
发明内容
有鉴于此,本发明实施例提供了异常监控的日志管理方法、终端设备以及计算机可读存储介质,以解决现有技术中无法对集群系统中多个主机产生的日志进行综合管理的问题。
本发明实施例的第一方面提供了一种基于异常监控的日志管理方法,包括:
对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量;
对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端,所述客户端用于向所述一级服务端发送日志文件,所述日志文件中包括发送所述日志文件的所述客户端的标识信息;
若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志;
若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
本发明实施例的第二方面提供了一种终端设备,所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量;
对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端,所述客户端用于向所述一级服务端发送日志文件,所述日志文件中包括发送所述日志文件的所述客户端的标识信息;
若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志;
若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量;
对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端,所述客户端用于向所述一级服务端发送日志文件,所述日志文件中包括发送所述日志文件的所述客户端的标识信息;
若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志;
若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
本发明实施例与现有技术相比存在的有益效果是:
本发明实施例首先获取集群系统中各个主机的性能指标,并对性能指标指标进行数值处理得到性能值,将数值最高的性能值对应的主机配置为一级服务端,将除一级服务端之外的多个主机配置为客户端,由一级服务端接收多个客户端发送的日志文件,在检测到一级服务端接收的日志文件出现告警内容时,基于告警内容和日志文件中的标识信息生成并输出第一告警信息,本发明实施例将集群系统中性能最强的主机配置为一级服务端,并由该一级服务端对各个主机的日志文件进行综合管理以及集中告警,提升了日志文件管理的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于异常监控的日志管理方法的实现流程图;
图2是本发明实施例二提供的基于异常监控的日志管理方法的实现流程图;
图3是本发明实施例三提供的基于异常监控的日志管理方法的实现流程图;
图4是本发明实施例四提供的基于异常监控的日志管理方法的实现流程图;
图5是本发明实施例五提供的终端设备的结构框图;
图6是本发明实施例六提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的基于异常监控的日志管理方法的实现流程,详述如下:
在S101中,对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量。
在本发明实施例中,多个主机都位于一个集群(cluster)系统中,也即集群系统中包含多个相互独立的并通过网络互联的主机,并且集群系统以单一系统的模式对多个主机进行管理。默认集群系统中的多个主机都装载有Linux操作系统,在本发明实施例中,首先对集群系统中的各个主机进行性能分析,具体地,对于集群系统中的每个主机,通过输入与性能分析相关的Linux命令(比如df命令、mpstat命令、vmstat命令、iostat命令、sar命令或top命令)进行查询,从而得到每个主机的性能指标。性能指标包括主机的硬盘总容量,当然还可包括更多的内容,比如还可包括剩余硬盘容量、中央处理器(Central ProcessingUnit,CPU)运算速度以及磁盘写入速度等,可根据实际应用场景进行设定。
在S102中,对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端。
在得到每一个主机的性能指标后,对性能指标进行数值处理得到性能值,根据性能指标的内容不同,进行数值处理的方式也不同。举例来说,若性能指标仅包括硬盘总容量,则可直接将硬盘总容量作为性能值;若性能指标包括多个性能子指标,分别为硬盘总容量、剩余硬盘容量、CPU运算速度以及磁盘写入速度,则可对各个性能子指标赋予对应的权值,并对性能子指标的数值进行加权求和,得到性能值,公式为:
Vaule=ωCapacity-Drive·S(CapacityDrive)+ωCapacity-Residual·S(CapacityResidual)
+ωSpeed-CPU·S(SpeedCPU)+ωSpeed-Drive·S(SpeedDrive)
在上述公式中,S(x)函数代表的是即以此类推,S(x)函数用于将性能子指标的数值映射到0到1的范围内,方便进行计算。另外,在上述公式中,Value代表性能值,CapacityDrive和ωCapacity-Drive分别代表硬盘总容量和硬盘总容量的权值;CapacityResidual和ωCapacity-Residual分别代表剩余硬盘容量和剩余硬盘容量的权值;SpeedCPU和ωSpeed-CPU分别代表CPU运算速度和CPU运算速度的权值;SpeedDrive和ωSpeed-Drive分别代表磁盘写入速度和磁盘写入速度的权值。上述公式中的各个权值都应设置为大于零,权值的具体数值可根据实际应用场景中各个性能子指标的重要性进行确定,重要程度越高,则权值越大,比如可分别将ωCapacity-Drive、ωCapacity-Residual、ωSpeed-CPU和ωSpeed-Drive分别赋值为2、2、2和1。值得一提的是,为了方便进行计算,可预先为各个性能子指标设置基数值,并计算性能子指标实际的数值与基数值之间的比值,将该比值代入上述公式中,以消除各个性能子指标的数值单位带来的影响。举例来说,将硬盘总容量和剩余硬盘容量的基数值设置为1个太字节(TB),将CPU运算速度的基数值设置为1吉赫(GHz)等,将磁盘写入速度的基数值设置为500兆字节(MB)每秒,假设实际获取到的多个性能子指标中,硬盘总容量、剩余硬盘容量、CPU运算速度和磁盘写入速度分别为3TB、1TB、2吉赫和500兆字节每秒,则根据各个性能子指标对应的计数值计算出的CapacityDrive为3(3TB/1TB),CapacityResidual为1(1TB/1TB),SpeedCPU为2(2GHz/1GHz),SpeedDrive为1(500兆字节每秒/500兆字节每秒)。
在计算出集群系统中每个主机的性能值后,将多个性能值进行比对,并将数值最高的性能值对应的主机配置为一级服务端,将除一级服务端之外的多个主机配置为客户端,客户端用于将客户端自身的日志文件传输至一级服务端,其中,日志文件中包含客户端本身的标识信息(标识信息可为主机的名称),一级服务端用于接收各个客户端传来的日志文件,并将日志文件保存在一级服务端本地,值得一提的是,一级服务端还将自身产生的日志文件保存在本地。具体地,在将数值最高的性能值对应的主机配置为一级服务端时,在该主机中配置简单文件传输协议(Trivial File Transfer Protocol,TFTP)服务,其中,TFTP是基于用户数据报协议实现的进行简单文件传输的协议。在配置TFTP服务的过程中,首先根据开源的TFTP组件进行环境配置,再在该主机中建立用于存放日志文件的接收目录,如可通过mkdir命令在TFTP根目录建立新的文件目录,将新建的文件目录作为接收目录。由于接收目录用于存放日志文件,故还要对该接收目录配置可读可写权限,即Linux系统中的777权限。配置完成后,该主机便为一级服务端(TFTP服务端)。与一级服务端对应的,为集群系统中除一级服务端外的其他多个主机同样配置TFTP服务,只是在配置过程中,将多个主机配置为客户端(TFTP客户端),使得一级服务端与多个客户端之间建立文件传输通道,客户端能够将自身产生的日志文件传输至一级服务端中(客户端可通过TFTP服务的put命令发送日志文件,一级服务端可通过TFTP服务的get命令获取客户端传输的日志文件)。
可选地,在一级服务端建立多个接收子目录,每个接收子目录对应集群系统中的一个主机。由于集群系统中存在多个主机,故在本发明实施例中,可在一级服务端中建立多个接收子目录,多个接收子目录共同构成一个接收目录,且每个接收子目录对应集群系统中的一个主机,其中,与一级服务端所在主机对应的接收子目录用于存放该主机自身产生的日志文件,而其他的接收子目录用于存放与该接收子目录对应的主机传输过来的日志文件。通过上述方法,在一级服务端本地对不同主机产生的日志文件进行了分类,进一步提升了日志管理的有序性,便于用户进行日志访问。
在S103中,若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志。
在检测到新的日志文件存放入一级服务端的接收目录时,查看该日志文件中是否存在告警内容,告警内容是指日志文件中高于预设告警级别的日志,其中,检测操作可为实时进行,也可为每隔预设的检测间隔(如一分钟)进行。以日志文件由log4j进行输出进行举例,其中,log4j为开源的日志记录组件,log4j提供的告警级别包括OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE和ALL(严重程度从高到低),故可设置预设告警级别为WARN,当对一级服务端接收到的日志文件进行查看时,查看日志文件中是否存在严重程度超过WARN的日志,如果存在,则将严重程度超过WARN的日志作为告警内容。当然,预设告警级别可以根据实际应用场景进行设定,比如可设置为ERROR或INFO等。
在S104中,若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
若一级服务端接收到的日志文件中存在待告警内容,则获取日志文件中的标识信息,并将告警内容和标识信息一起打包作为第一告警信息,并输出第一告警信息。若存在告警内容的日志文件是一级服务端本地产生的日志文件,则将告警内容和一级服务端所在主机的标识信息打包为第一告警信息,并进行发送。本发明实施例并不限定输出第一告警信息的方式,比如可将第一告警信息输出至一级服务端的前端页面,还可以短信或邮件方式进行输出等。
可选地,获取预设的反馈时间段,若检测到客户端在发送日志文件后的反馈时间段内,仍未接收到反馈信息,则基于服务端的标识信息生成并输出第三告警信息。在设置第一服务端用于接收客户端的日志文件后,还可设置一级服务端在接收到来自客户端的日志文件后,向日志文件对应的客户端发送反馈信息,其中,一级服务端可基于TFTP服务向客户端发送反馈信息,也可基于其他传输方式进行发送。本发明实施例对反馈信息的格式并不做限定,比如反馈信息可以为一级服务端的标识信息再加上一级服务端发出反馈信息的时间。在客户端向一级服务端发送日志文件后,开始进行计时,若经过预设的反馈时间段后,检测到客户端已接收到反馈信息,则不进行告警;若检测到客户端仍未收到来自一级服务端的反馈信息,则证明一级服务端并未收到日志文件或者一级服务端与客户端之间出现通信故障,则基于一级服务端的标识信息生成并输出第三告警信息。值得一提的是,由于一级服务端与客户端之间可能存在通信延迟时长,以及一级服务端在接收到日志文件与发送反馈信息之间可能存在处理延迟时长,故本发明实施例设置在反馈时间段内进行检测,而不是只在客户端发送日志文件时进行检测。通过上述方法可对一级服务端接收日志文件的情况进行检测,在一级服务端出现故障时,用户可通过第三告警信息快速获知。
通过图1所示实施例可知,在本发明实施例中,通过对集群系统中的多个主机进行性能分析,得到每个主机的性能指标,并对性能指标进行数值处理得到性能值,将数值最高的性能值对应的主机配置为一级服务端,并将除一级服务端之外的多个主机配置为客户端,客户端用于向一级服务端发送日志文件,日志文件中包括发送日志文件的客户端的标识信息,若检测出一级服务端接收到日志文件,则查看日志文件中是否存在告警内容,若日志文件中存在告警内容,则获取日志文件中的标识信息,基于告警内容和标识信息生成并输出第一告警信息,本发明实施例通过将集群系统中性能值最高的配置为一级服务端,实现了对集群系统中多个主机的日志文件的综合管理,提升了管理效率。
图2所示,是在本发明实施例一的基础上,并在客户端用于在预设的发送时间向一级服务端发送日志文件的基础上,对若检测出一级服务端接收到日志文件,则查看日志文件中是否存在告警内容的过程进行扩展后得到的一种方法。本发明实施例提供了基于异常监控的日志管理方法的实现流程图,如图2所示,该日志管理方法可以包括以下步骤:
在S201中,根据已配置的多个所述客户端建立客户端集,并获取预设的延迟时间段,所述客户端集内包含所有的所述客户端的所述标识信息。
在本发明实施例中,可为客户端配置发送时间,发送时间即为预设的该客户端发送日志文件的时间,其中,可对多个客户端配置统一的发送时间,也可对不同的客户端配置不同的发送时间,根据实际应用场景确定。发送时间可根据基于Linux系统自带的计划任务工具进行配置,其中,计划任务工具优选为计划任务cron。为了便于理解发送时间的配置过程,下文阐述通过计划任务cron下的crontab命令来生成发送时间的过程,但应获知的是,发送时间的生成方式并不仅限于此。具体地,按照crontab的设置格式设置计划时间,设置格式包含六个字段,分别为minute、hour、day、month、week和command,分别对应分钟、小时、天、月、星期内的天数和发送日志文件的命令。除开设置格式中发送日志文件的命令必须配置外,可根据实际应用场景选择是否为设置格式中的某个字段或某几个字段赋值以及选择赋予的具体数值,举例来说,可配置crontab命令为“3,33****command”,则发送时间为每小时的第3分钟和第33分钟。
另外,在集群系统中配置完毕一级服务端和客户端后,根据已配置的多个客户端建立客户端集,该客户端集包括所有客户端的标识信息。除此之外,还获取预设的延迟时间段,该延迟时间段可自定义设置,也可获取以往的客户端发送日志文件的时间与一级服务端接收到日志文件的时间之间的差值的绝对值,将该绝对值作为延迟时间段,为了提升准确性,还可获取多个差值的绝对值,将数值最大的绝对值作为延迟时间段(同样地,可为多个客户端配置统一的延迟时间段,也可针对每个客户端单独配置延迟时间段)。
在S202中,在已达到所述发送时间,并经过所述延迟时间段后,基于所述客户端集对所述一级服务端已接收到的所述日志文件进行分析,得到未发送所述日志文件的所述客户端的所述标识信息,基于所述标识信息生成并输出所述第二告警信息。
在已达到发送时间(客户端已发送日志文件)并经过延迟时间段后,基于客户端集对一级服务端已接收到的日志文件进行分析,由于日志文件中含有发送日志文件的客户端的标识信息,故可得到未发送日志文件的客户端的标识信息。然后,基于未发送日志文件的客户端的标识信息生成并输出第二告警信息,便于用户查看该客户端。
通过图2所示实施例可知,在本发明实施例中,根据已配置的多个客户端建立客户端集,并获取预设的延迟时间段,客户端集内包含所有的客户端的标识信息,在已达到发送时间,并经过延迟时间段后,基于客户端集对一级服务端已接收到的日志文件进行分析,得到未发送日志文件的客户端的标识信息,基于标识信息生成并输出第二告警信息,本发明实施例实现了对未发送日志文件的客户端的快速告警,提升了日志管理的及时性。
图3所示,是在本发明实施例一的基础上进行扩展后得到的一种方法。本发明实施例提供了基于异常监控的日志管理方法的实现流程图,如图3所示,该日志管理方法可以包括以下步骤:
在S301中,获取所述一级服务端的已占用指标,所述已占用指标包括剩余硬盘容量。
在集群系统中完成一级服务端和客户端的配置后,为了防止因一级服务端被日志文件过度占用导致日志管理出现故障,在本发明实施例中,获取一级服务端的已占用指标,该已占用指标包括剩余硬盘容量,当然,根据实际应用场景的要求,已占用指标还可包括更多的内容。其中,已占用指标可实时获取,也可每隔预设的获取间隔(如一分钟)进行获取。
在S302中,若所述已占用指标达到预设条件,则在多个所述客户端的所述性能值中确定出数值最高的所述性能值,将数值最高的所述性能值对应的客户端配置为次级服务端,所述次级服务端用于接收所述一级服务端和多个所述客户端的所述日志文件。
对于一级服务端的已占用指标,设置预设条件,比如已占用指标为剩余硬盘容量,则可设置预设条件为小于预设容量。在获取到已占用指标后,判断已占用指标是否满足预设条件,若已占用指标不满足预设条件,则继续获取已占用指标;若已占用指标满足预设条件,证明一级服务端被过度占用,则重新获取多个客户端的性能值(对性能值进行更新),并将其中数值最高的性能值对应的客户端配置为次级服务端,次级服务端的配置方式与一级服务端的配置方式相同,该次级服务端用于接收一级服务端和其他的多个客户端的日志文件。值得一提的是,在将数值最高的性能值对应的客户端配置为次级服务端时,将一级服务端配置为TFTP客户端,从而一级服务端能将产生的日志文件发送至次级服务端。
通过图3所示实施例可知,在本发明实施例中,获取一级服务端的已占用指标,该已占用指标包括剩余硬盘容量,若已占用指标达到预设条件,则在多个客户端的性能值中确定出数值最高的性能值,将数值最高的性能值对应的客户端配置为次级服务端,该次级服务端用于接收一级服务端和多个客户端的日志文件,本发明实施例在一级服务端被过度占用时,配置新的次级服务端进行日志管理,提升了日志管理的安全性。
图4所示,是在本发明实施例一的基础上,对查看日志文件中是否存在告警内容的过程进行细化后得到的一种方法。本发明实施例提供了基于异常监控的日志管理方法的实现流程图,如图4所示,该日志管理方法可以包括以下步骤:
在S401中,将多个所述客户端的所述标识信息按照所述性能值的数值从大到小进行排序,生成标识序列。
在集群系统中配置完成一级服务端和多个客户端后,为了确定一级服务端对接收到的多个日志文件的处理顺序,在本发明实施例中,根据多个客户端的性能值的数值从大到小的顺序,对多个客户端对应的标识信息进行排序,生成标识序列。
在S402中,按照所述标识序列的顺序对所述一级服务端接收到的多个所述日志文件依次进行查看。
由于性能值较高的客户端发送日志文件的效率也较高,故在本发明实施例中对性能值较高的客户端发送的日志文件优先进行查看,防止在还未查看日志文件时,性能值较高的客户端再次向一级服务端发送日志文件。具体地,检测出一级服务端接收到多个日志文件后,按照标识序列的顺序对多个日志文件依次进行查看,具体查看日志文件内是否存在告警内容。举例来说,标识序列为ClientA,ClientB,ClientC,上述的ClientA、ClientB和ClientC都为标识信息,而在一级服务端接收到的多个日志文件中,包括标识信息为ClientA的客户端发送的日志文件FileA,标识信息为ClientB的客户端发送的日志文件FileB以及标识信息为ClientC的客户端发送的日志文件FileC,则在本发明实施例中,按照标识序列的顺序,即按照FileA,FileB,FileC的顺序依次对日志文件进行查看。此外,由于进行日志管理的一级服务端较为重要,故在处理客户端的日志文件之前,优先处理一级服务端自身产生的日志文件。
可选地,按照标识序列的顺序将多个查看日志文件的任务依次添加至消息队列。在本发明实施例中,可基于消息队列实现多个日志文件的依次查看,具体地,首先生成与每个日志文件对应的任务,通过执行该任务即可进行对日志文件中告警内容的查看,然后根据标识序列的顺序将多个日志文件对应的任务依次添加至消息队列的队尾,当任务排至消息队列的队首时,从消息队列中取出任务进行执行,消息队列可为Redis消息队列。通过上述方法提升了查看多个日志文件的有序性。
通过图4所示实施例可知,在本发明实施例中,将多个客户端的标识信息按照性能值的数值从大到小进行排序,生成标识序列,并按照标识序列的顺序对一级服务端接收到的多个日志文件依次进行查看,本发明实施例对性能值较高的客户端发送的日志文件进行优先处理,有效地防止了未处理的日志文件在一级服务端的囤积。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图5示出了本发明实施例提供的终端设备的结构框图,该终端设备包括的各单元用于执行图1对应的实施例中的各步骤。具体请参阅图1与图1所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。
参见图5,所述终端设备包括:
分析单元51,用于对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量;
配置单元52,用于对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端,所述客户端用于向所述一级服务端发送日志文件,所述日志文件中包括发送所述日志文件的所述客户端的标识信息;
查看单元53,用于若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志;
第一告警单元54,用于若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
可选地,所述客户端用于在预设的发送时间向所述一级服务端发送所述日志文件,所述查看单元53,还包括:
建立单元,用于根据已配置的多个所述客户端建立客户端集,并获取预设的延迟时间段,所述客户端集内包含所有的所述客户端的所述标识信息;
第二告警单元,用于在已达到所述发送时间,并经过所述延迟时间段后,基于所述客户端集对所述一级服务端已接收到的所述日志文件进行分析,得到未发送所述日志文件的所述客户端的所述标识信息,基于所述标识信息生成并输出所述第二告警信息。
可选地,所述终端设备还包括:
获取单元,用于获取所述一级服务端的已占用指标,所述已占用指标包括剩余硬盘容量;
次级配置单元,用于若所述已占用指标达到预设条件,则在多个所述客户端的所述性能值中确定出数值最高的所述性能值,将数值最高的所述性能值对应的客户端配置为次级服务端,所述次级服务端用于接收所述一级服务端和多个所述客户端的所述日志文件。
可选地,所述查看单元53包括:
排序单元,用于将多个所述客户端的所述标识信息按照所述性能值的数值从大到小进行排序,生成标识序列;
依次查看单元,用于按照所述标识序列的顺序对所述一级服务端接收到的多个所述日志文件依次进行查看。
可选地,所述一级服务端用于在接收到所述日志文件后,向所述日志文件对应的所述客户端发送反馈信息,所述终端设备还包括:
第三告警单元,用于获取预设的反馈时间段,若检测到所述客户端在发送所述日志文件后的所述反馈时间段内,仍未接收到所述反馈信息,则基于所述一级服务端的所述标识信息生成并输出第三告警信息。
因此,本发明实施例提供的终端设备通过在集群系统中配置一级服务端和多个客户端,由一级服务端对多个客户端产生的日志文件进行综合管理以及集中告警,提升了对多个主机的日志文件的管理效果。
图6是本发明实施例提供的终端设备的示意图。如图6所示,该实施例的终端设备6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如基于异常监控的日志管理程序。所述处理器60执行所述计算机程序62时实现上述各个基于异常监控的日志管理方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器60执行所述计算机程序62时实现上述各终端设备实施例中各单元的功能,例如图5所示单元51至54的功能。
示例性的,所述计算机程序62可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。例如,所述计算机程序62可以被分割成分析单元、配置单元、查看单元和第一告警单元,各单元具体功能如下:
分析单元,用于对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量;
配置单元,用于对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端,所述客户端用于向所述一级服务端发送日志文件,所述日志文件中包括发送所述日志文件的所述客户端的标识信息;
查看单元,用于若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志;
第一告警单元,用于若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是终端设备6的示例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备,例如所述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将所述终端设备的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的终端设备和方法,可以通过其它的方式实现。例如,以上所描述的终端设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于异常监控的日志管理方法,其特征在于,包括:
对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量;
对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端,所述客户端用于向所述一级服务端发送日志文件,所述日志文件中包括发送所述日志文件的所述客户端的标识信息;
若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志;
若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
2.如权利要求1所述的日志管理方法,其特征在于,所述客户端用于在预设的发送时间向所述一级服务端发送所述日志文件,所述若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,还包括:
根据已配置的多个所述客户端建立客户端集,并获取预设的延迟时间段,所述客户端集内包含所有的所述客户端的所述标识信息;
在已达到所述发送时间,并经过所述延迟时间段后,基于所述客户端集对所述一级服务端已接收到的所述日志文件进行分析,得到未发送所述日志文件的所述客户端的所述标识信息,基于所述标识信息生成并输出所述第二告警信息。
3.如权利要求1所述的日志管理方法,其特征在于,还包括:
获取所述一级服务端的已占用指标,所述已占用指标包括剩余硬盘容量;
若所述已占用指标达到预设条件,则在多个所述客户端的所述性能值中确定出数值最高的所述性能值,将数值最高的所述性能值对应的客户端配置为次级服务端,所述次级服务端用于接收所述一级服务端和多个所述客户端的所述日志文件。
4.如权利要求1所述的日志管理方法,其特征在于,所述查看所述日志文件中是否存在告警内容,包括:
将多个所述客户端的所述标识信息按照所述性能值的数值从大到小进行排序,生成标识序列;
按照所述标识序列的顺序对所述一级服务端接收到的多个所述日志文件依次进行查看。
5.如权利要求1所述的日志管理方法,其特征在于,所述一级服务端用于在接收到所述日志文件后,向所述日志文件对应的所述客户端发送反馈信息,所述方法还包括:
获取预设的反馈时间段,若检测到所述客户端在发送所述日志文件后的所述反馈时间段内,仍未接收到所述反馈信息,则基于所述一级服务端的所述标识信息生成并输出第三告警信息。
6.一种终端设备,其特征在于,所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
对集群系统中的多个主机进行性能分析,得到每个所述主机的性能指标,所述性能指标包括硬盘总容量;
对所述性能指标进行数值处理得到性能值,将数值最高的所述性能值对应的所述主机配置为一级服务端,并将除所述一级服务端之外的多个所述主机配置为客户端,所述客户端用于向所述一级服务端发送日志文件,所述日志文件中包括发送所述日志文件的所述客户端的标识信息;
若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,所述告警内容为所述日志文件中高于预设告警级别的日志;
若所述日志文件中存在所述告警内容,则获取所述日志文件中的所述标识信息,并基于所述告警内容和所述标识信息生成并输出第一告警信息。
7.如权利要求6所述的终端设备,其特征在于,所述客户端用于在预设的发送时间向所述一级服务端发送所述日志文件,所述若检测出所述一级服务端接收到所述日志文件,则查看所述日志文件中是否存在告警内容,还包括:
根据已配置的多个所述客户端建立客户端集,并获取预设的延迟时间段,所述客户端集内包含所有的所述客户端的所述标识信息;
在已达到所述发送时间,并经过所述延迟时间段后,基于所述客户端集对所述一级服务端已接收到的所述日志文件进行分析,得到未发送所述日志文件的所述客户端的所述标识信息,基于所述标识信息生成并输出所述第二告警信息。
8.如权利要求6所述的终端设备,其特征在于,还包括:
获取所述一级服务端的已占用指标,所述已占用指标包括剩余硬盘容量;
若所述已占用指标达到预设条件,则在多个所述客户端的所述性能值中确定出数值最高的所述性能值,将数值最高的所述性能值对应的客户端配置为次级服务端,所述次级服务端用于接收所述一级服务端和多个所述客户端的所述日志文件。
9.如权利要求6所述的终端设备,其特征在于,所述查看所述日志文件中是否存在告警内容,包括:
将多个所述客户端的所述标识信息按照所述性能值的数值从大到小进行排序,生成标识序列;
按照所述标识序列的顺序对所述一级服务端接收到的多个所述日志文件依次进行查看。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述日志管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811121955.7A CN109284267A (zh) | 2018-09-26 | 2018-09-26 | 基于异常监控的日志管理方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811121955.7A CN109284267A (zh) | 2018-09-26 | 2018-09-26 | 基于异常监控的日志管理方法及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109284267A true CN109284267A (zh) | 2019-01-29 |
Family
ID=65182126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811121955.7A Pending CN109284267A (zh) | 2018-09-26 | 2018-09-26 | 基于异常监控的日志管理方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109284267A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977089A (zh) * | 2019-03-13 | 2019-07-05 | 深圳壹账通智能科技有限公司 | 日志管理方法、装置、计算机设备及计算机可读存储介质 |
CN110113224A (zh) * | 2019-03-19 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 容量监控方法、装置、计算机设备及存储介质 |
CN110166290A (zh) * | 2019-05-16 | 2019-08-23 | 平安科技(深圳)有限公司 | 基于日志文件的告警方法及装置 |
CN111930587A (zh) * | 2020-06-24 | 2020-11-13 | 北京大米科技有限公司 | 告警消息处理方法、装置、存储介质及电子设备 |
WO2020233077A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 系统服务的监控方法、装置、设备及存储介质 |
CN112486435A (zh) * | 2020-12-17 | 2021-03-12 | 青岛海尔科技有限公司 | 用于日志打印的方法、系统和装置 |
CN116756082A (zh) * | 2023-08-16 | 2023-09-15 | 沐曦集成电路(上海)有限公司 | 一种可配置的功能模块文件的生成方法及系统 |
CN111930587B (zh) * | 2020-06-24 | 2024-05-10 | 北京大米科技有限公司 | 告警消息处理方法、装置、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202212A (zh) * | 2014-08-28 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 一种获取分布式集群系统告警的系统和方法 |
CN107423194A (zh) * | 2017-06-30 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 前端异常告警处理方法、装置及系统 |
US20180101423A1 (en) * | 2016-10-11 | 2018-04-12 | Oracle International Corporation | Cluster-based processing of unstructured log messages |
WO2018086466A1 (zh) * | 2016-11-11 | 2018-05-17 | 华为技术有限公司 | 数据处理方法和存储管理系统 |
-
2018
- 2018-09-26 CN CN201811121955.7A patent/CN109284267A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202212A (zh) * | 2014-08-28 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 一种获取分布式集群系统告警的系统和方法 |
US20180101423A1 (en) * | 2016-10-11 | 2018-04-12 | Oracle International Corporation | Cluster-based processing of unstructured log messages |
WO2018086466A1 (zh) * | 2016-11-11 | 2018-05-17 | 华为技术有限公司 | 数据处理方法和存储管理系统 |
CN107423194A (zh) * | 2017-06-30 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 前端异常告警处理方法、装置及系统 |
Non-Patent Citations (2)
Title |
---|
庞松健;: "BOSS系统日志分析研究与应用", 电脑知识与技术, no. 28 * |
郑清泉;: "基于云计算技术的通用日志管理构件", 广东通信技术, no. 11 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977089A (zh) * | 2019-03-13 | 2019-07-05 | 深圳壹账通智能科技有限公司 | 日志管理方法、装置、计算机设备及计算机可读存储介质 |
CN110113224A (zh) * | 2019-03-19 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 容量监控方法、装置、计算机设备及存储介质 |
CN110113224B (zh) * | 2019-03-19 | 2022-08-09 | 深圳壹账通智能科技有限公司 | 容量监控方法、装置、计算机设备及存储介质 |
CN110166290A (zh) * | 2019-05-16 | 2019-08-23 | 平安科技(深圳)有限公司 | 基于日志文件的告警方法及装置 |
WO2020233077A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 系统服务的监控方法、装置、设备及存储介质 |
CN111930587A (zh) * | 2020-06-24 | 2020-11-13 | 北京大米科技有限公司 | 告警消息处理方法、装置、存储介质及电子设备 |
CN111930587B (zh) * | 2020-06-24 | 2024-05-10 | 北京大米科技有限公司 | 告警消息处理方法、装置、存储介质及电子设备 |
CN112486435A (zh) * | 2020-12-17 | 2021-03-12 | 青岛海尔科技有限公司 | 用于日志打印的方法、系统和装置 |
CN112486435B (zh) * | 2020-12-17 | 2023-02-03 | 青岛海尔科技有限公司 | 用于日志打印的方法、系统和装置 |
CN116756082A (zh) * | 2023-08-16 | 2023-09-15 | 沐曦集成电路(上海)有限公司 | 一种可配置的功能模块文件的生成方法及系统 |
CN116756082B (zh) * | 2023-08-16 | 2023-10-27 | 沐曦集成电路(上海)有限公司 | 一种可配置的功能模块文件的生成方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109284267A (zh) | 基于异常监控的日志管理方法及终端设备 | |
US11025512B2 (en) | Automated service-oriented performance management | |
CN110489391B (zh) | 一种数据处理方法及相关设备 | |
CN105357038B (zh) | 监控虚拟机集群的方法和系统 | |
CN109710615B (zh) | 数据库的访问管理方法、系统、电子设备和存储介质 | |
US9122685B2 (en) | Operating cloud computing and cloud computing information system | |
US8453165B2 (en) | Distributing event processing in event relationship networks | |
WO2017131774A1 (en) | Log event summarization for distributed server system | |
CN105893097A (zh) | 一种处理bios的选项信息的方法及装置 | |
CN109600441A (zh) | 联盟链信息发布控制方法及终端设备 | |
US8627327B2 (en) | Thread classification suspension | |
CN109189749A (zh) | 文件同步方法及终端设备 | |
US11502899B2 (en) | Dynamic product installation based on user feedback | |
US20070198697A1 (en) | Method of refactoring methods within an application | |
CN107819825A (zh) | 一种服务调度方法、装置和电子设备 | |
CN101196901B (zh) | 用于数据库查询的计算机系统和方法 | |
CN108009010B (zh) | 瘦客户端的管理装置、系统、方法、电子设备、存储介质 | |
US8539453B2 (en) | Autonomic I/O tracing and performance tuning | |
CN110008173A (zh) | 一种数据存储的方法及装置 | |
CN117608825A (zh) | 基于多云管理平台的资源管理方法和相关设备 | |
CN107645565A (zh) | 服务器状态信息的处理方法、装置、系统及处理器 | |
CN109255254A (zh) | 一种数据库权限管理方法、装置、设备及存储介质 | |
US20180234491A1 (en) | Program deployment according to server efficiency rankings | |
CN109271266A (zh) | 文件传输方法、装置及终端设备 | |
US11343202B1 (en) | Managing edge devices based on predicted network bandwidth utilization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |