CN114860491A - 一种日志信息的处理方法、装置及介质 - Google Patents

一种日志信息的处理方法、装置及介质 Download PDF

Info

Publication number
CN114860491A
CN114860491A CN202210469680.6A CN202210469680A CN114860491A CN 114860491 A CN114860491 A CN 114860491A CN 202210469680 A CN202210469680 A CN 202210469680A CN 114860491 A CN114860491 A CN 114860491A
Authority
CN
China
Prior art keywords
information
server
hash
alarm
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210469680.6A
Other languages
English (en)
Inventor
魏胜杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202210469680.6A priority Critical patent/CN114860491A/zh
Publication of CN114860491A publication Critical patent/CN114860491A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志信息的处理方法、装置及介质,适用于服务器技术领域。根据哈希规则将日志信息进行映射得到哈希指纹;根据哈希指纹与告警信息的关系确定服务器的状态等级;当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。根据哈希规则将日志信息映射得到哈希指纹,进而根据哈希指纹与告警信息的关系确定服务器的状态等级,当状态等级低于预设等级时输出告警信息,通过对日志信息进行分析以得到服务器的状态等级,减少工作人员的排查故障时间,便于故障定位,当出现问题进行告警信息提示,方便工作人员查看,避免现有的根据日志信息零散数据和相关经验排查,降低设备故障导致的损失。

Description

一种日志信息的处理方法、装置及介质
技术领域
本发明涉及服务器技术领域,特别是涉及一种日志信息的处理方法、装置及介质。
背景技术
在如今大数据的时代,数据的重要性愈发凸显。各单位纷纷建立自己的数据中心和机房,或者租用云服务提供商的云服务器,来存储重要数据。因此,对于数据中心或者机房中的服务器的监控显得尤为重要。
设备日志是机房或者数据监控必不可少的一环,日志信息不仅包含了设备的各种警告信息,也包含了设备的各种操作信息,例如,用户登录、硬盘更换等行为。日志信息相当于是对服务器从上架使用的全生命周期的记录。目前的日志信息只是简单采集,很少进行使用,直到服务器设备出现故障时,工作人员会查看日志信息,但此时的日志信息由于采集记载相关内容较少,仅能从日志信息零散数据以及相关经验进行排查故障,若工作人员的经验较少或者日志信息未记录齐全则导致排查故障的时间加长,很难准确定位故障原因,影响服务器的正常使用。
因此,如何提高故障解决的速度是本领域技术人员亟需要解决的。
发明内容
本发明的目的是提供一种日志信息的处理方法、装置及介质,提高故障解决的速度。
为解决上述技术问题,本发明提供一种日志信息的处理方法,包括:
采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息;
根据哈希规则将日志信息进行映射得到哈希指纹;
根据哈希指纹与告警信息的关系确定服务器的状态等级;
当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。
优选地,根据哈希规则将日志信息进行映射得到哈希指纹,包括:
获取日志信息的当前信息,其中日志信息包括多条当前信息;
根据核心内容字段将当前信息进行过滤处理得到过滤信息;
将过滤信息进行分词得到关键词信息,并根据词频分配权重得到对应的权重信息;
根据哈希函数将关键词信息进行映射得到哈希串信息;
根据哈希串信息与权重信息得到对应的关键词权重信息;
将各关键词权重信息进行合并处理得到哈希指纹。
优选地,根据哈希指纹与告警信息的关系确定服务器的状态等级,包括:
根据哈希规则将告警信息的参考信息进行映射得到参考指纹信息,其中参考指纹信息为多条信息;
将当前信息对应的哈希指纹与各参考指纹信息进行相似度匹配得到对应的各相似度信息;
当相似度信息大于相似度阈值时,则将当前信息匹配相似警告信息;
根据各相似度信息得到当前信息的相似度分数;
根据当前信息的相似度分数得到服务器的状态等级。
优选地,根据当前信息的相似度分数得到服务器的状态等级,包括:
获取当前信息的相似警告信息以及对应的警告重要性系数;
将相似警告信息、警告重要性系数以及相似度分数进行加权平均值处理得到服务器的状态等级。
优选地,将当前信息对应的哈希指纹与各参考指纹信息进行相似度匹配得到对应的各相似度信息,包括:
将哈希指纹与各参考指纹信息进行余弦相似度匹配得到对应的各相似度信息。
优选地,告警重要性系数的确定通过如下步骤:
获取当前信息的警告次数、告警信息的告警总数以及日志信息包含当前信息的警告信息的日志条数;
根据警告次数、告警总数以及日志条数的关系确定告警重要性系数。
优选地,当服务器为异常状态时输出当前告警信息,包括:
通过短信或邮箱形式输出当前告警信息。
为解决上述技术问题,本发明还提供一种日志信息的处理装置,包括:
采集模块,用于采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息;
映射模块,用于根据哈希规则将日志信息进行映射得到哈希指纹;
确定模块,用于根据哈希指纹与告警信息的关系确定服务器的状态等级;
输出模块,用于当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。
为解决上述技术问题,本发明还提供一种日志信息的处理装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述日志信息的处理方法的步骤。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述日志信息的处理方法的步骤。
本发明提供的一种日志信息的处理方法,包括采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息;根据哈希规则将日志信息进行映射得到哈希指纹;根据哈希指纹与告警信息的关系确定服务器的状态等级;当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。该方法根据哈希规则将日志信息映射得到哈希指纹,进而根据哈希指纹与告警信息的关系确定服务器的状态等级,当状态等级低于预设等级时输出告警信息,通过对日志信息进行分析以得到服务器的状态等级,减少工作人员的排查故障时间,便于故障定位,当出现问题进行告警信息提示,方便工作人员查看,避免现有的根据日志信息零散数据和相关经验排查,降低设备故障导致的损失。
另外,本发明还提供了一种日志信息的处理装置,具有如上述日志信息的处理方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种日志信息的处理方法的流程图;
图2为本发明实施例提供的一种日志信息的处理装置的结构图;
图3为本发明实施例提供的另一种日志信息的处理装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
本发明的核心是提供一种日志信息的处理方法、装置及介质,提高故障解决的速度。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
需要说明的是,本发明提供的日志信息的处理方法,用于采集服务器日志,以便对机房内的服务器进行统一的日志汇聚分析,及时返现系统异常状态,向工作人员发出告警信息。图1为本发明实施例提供的一种日志信息的处理方法的流程图,如图1所示,该方法包括:
S11:采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息。
具体地,采集服务器运行时产生的日志信息,可以根据预设时间采集,也可以由用户主动获取进行定期的检查,不做具体限定。日志信息为记录程序运行时的信息,对于不同的技术框架其日志实现不同,定义日志的接口,当项目业务使用别的日志框架时,可以适配该接口。日志信息一方面定位问题,一方面可以作为数据来源。在大数据领域中,数据来源有关系型数据库、爬虫、日志信息等。
告警信息为服务器生产厂家根据服务器未出厂时进行服务器测试出现的常见故障告警的参考信息,以便用户在使用过程中通过告警信息可以提供参考进行调试修复。
S12:根据哈希规则将日志信息进行映射得到哈希指纹。
在进行哈希规则映射中,需要在日志信息中找到目标信息,则需要进行强大的检索,本发明不做具体限定,可以支持结构化检索、全文检索、多字段检索、近似匹配、部分匹配等,搜索到目标信息后,对其进行分析。在分析过程中,维护定时任务,周期性调用检索接口,取出当前时段采集到的所有日志信息,对日志信息进行分组,对分组后的日志逐个进行分析。
根据哈希规则将分组后的日志信息进行映射,其中,哈希规则就是把任意长度的输入通过散列算法变换成固定长度的输出,该输出就是散列值。该转换过程是一种压缩映射,散列值的空间通常远小于输入的空间,不同的输入可能会散列成相同的输出,故不可能从散列值来唯一确定输入值。常用的哈希函数有直接取余法、乘法取整法、平方取中法等,本发明不做具体限定,只要能将其映射得到哈希指纹即可。
S13:根据哈希指纹与告警信息的关系确定服务器的状态等级。
在上述S12中得到的哈希指纹,其中告警信息中可以通过上述实施例得到参考指纹信息,将哈希指纹与参考指纹信息进行比对匹配以此确定服务器的状态等级。
具体地,采集的日志信息有多条信息,以单条的当前信息进行处理,对应于告警信息清单文件的参考指纹信息一一对比,以确定当前信息的等级,进而将其多条信息的等级进行汇总得到服务器的状态等级。
S14:当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。
当服务器的状态等级低于定义的阈值也就是预设等级时,则确定服务器的当前状态为异常状态,需要推送告警,输出当前告警信息,可以理解的是,当前告警信息可以与步骤S11中的告警信息相同,也可以新增加其他的告警信息。
对于输出告警信息的形式可以通过Web页面进行输出,考虑到用户不会较长时间在机房内或者电脑旁,当出现告警信息可以通过短信或者邮箱形式发送至用户以便用户及时查看维护。
本发明实施例提供的一种日志信息的处理方法,包括采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息;根据哈希规则将日志信息进行映射得到哈希指纹;根据哈希指纹与告警信息的关系确定服务器的状态等级;当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。根据哈希规则将日志信息映射得到哈希指纹,进而根据哈希指纹与告警信息的关系确定服务器的状态等级,当状态等级低于预设等级时输出告警信息,通过对日志信息进行分析以得到服务器的状态等级,减少工作人员的排查故障时间,便于故障定位,当出现问题进行告警信息提示,方便工作人员查看,避免现有的根据日志信息零散数据和相关经验排查,降低设备故障导致的损失。
在上述实施例的基础上,步骤S12中的根据哈希规则将日志信息进行映射得到哈希指纹,包括:
获取日志信息的当前信息,其中日志信息包括多条当前信息;
根据核心内容字段将当前信息进行过滤处理得到过滤信息;
将过滤信息进行分词得到关键词信息,并根据词频分配权重得到对应的权重信息;
根据哈希函数将关键词信息进行映射得到哈希串信息;
根据哈希串信息与权重信息得到对应的关键词权重信息;
将各关键词权重信息进行合并处理得到哈希指纹。
具体地,获取日志信息的多条信息的当前信息,核心内容字段将当前信息进行过滤处理,其中,核心内容字段是在建立日志信息时进行分类得到的,在建立日志信息时根据日志名称,日志时间,日志核心内容字段等进行整理。本实施例中的过滤处理并不是常规的数据处理的频率、噪声等过滤,此处是过滤掉特殊字符和停用词,也可以根据关键词进行提取以达到过滤的效果。为了捕获后续的关键词集,在本处根据特殊字符和停用词进行过滤。例如,核心内容字段为“风扇模块产生故障,位置:风扇0\n”,进行过滤得到“风扇模块产生故障位置风扇0”。过滤特殊字符和停用词是为了避免对文本相似度计算产生干扰。停用词是指一些出现频率很高,但本身无实际意义的一些词,如副词、介词、语气助词等。
将过滤信息进行分词得到关键词信息,此时的关键词信息为关键词集,并按照词频分配权重得到对应的权重信息,结合上文的例子,为{“风扇”,“模块”,“产生”,“故障”,“位置”,“0”},其中风扇的权重W1=2,其余关键词权重W2=1。
根据哈希函数将关键词信息进行映射产生一个n位的二进制串,即哈希串信息,例如:关键词“风扇”的hash串为H1=10011101,,关键词“模块”的hash串为H2=11001010……。需要说明的是,该处的哈希函数并非固定,可根据实际需求选择,只要保证不同关键词的映射分布足够均匀,相同关键词的映射相同即可。
根据哈希串信息与权重信息得到对应的关键词权重信息,通过以下公式得到:
Vwi=Wi*Hi
其中,Wi为当前关键词的权重,Hi为当前关键词的哈希值。
经过加权计算后,得到每个关键词的权重向量,如:关键词“风扇”的权重向量Vw2=(1,1,-1,-1,1,-1,1,-1),关键词“模块”的权重向量Vw2=(1,1,-1,-1,1,-1,1,-1)。进而将所有关键词的权重向量通过以下公式合并:
Figure BDA0003626025430000071
其中,n为当前文本的关键词数量,对于合并后的权重向量,大于0的位置设置为1,小于0的位置设置为0,以此得到当前信息的哈希指纹。需要说明的是,权重向量合并是并行合并,例如各关键词的哈希串信息为8位,一共6个关键词,则合并权重向量后为8位。
本发明实施例提供的根据哈希规则将日志信息进行映射得到哈希指纹,先进行过滤后得到过滤信息再分词得到关键词信息,进而根据哈希函数映射。过滤处理避免对文本相似度计算产生干扰,将不同的日志信息进行整理得到固定长度的哈希指纹,便于后续的数据相似度比较。
在上述实施例的基础上,步骤S13中的根据哈希指纹与告警信息的关系确定服务器的状态等级,包括:
根据哈希规则将告警信息的参考信息进行映射得到参考指纹信息,其中参考指纹信息为多条信息;
将当前信息对应的哈希指纹与各参考指纹信息进行相似度匹配得到对应的各相似度信息;
当相似度信息大于相似度阈值时,则将当前信息匹配相似警告信息;
根据各相似度信息得到当前信息的相似度分数;
根据当前信息的相似度分数得到服务器的状态等级。
具体地,在上述实施例中得到当前信息的哈希指纹需要和告警信息的参考信息进行一一匹配,告警信息的参考信息需要和哈希指纹的数据长度相同,则需要进行同样的哈希规则映射得到参考指纹信息。
将当前信息对应的哈希指纹与各参考指纹信息进行相似度匹配得到对应的相似度信息,也就是说日志信息中包含多条信息,需要将当前信息与告警信息进行匹配后,再对下一个当前信息进行匹配,得到对应的日志信息的相似度信息。根据当前信息对应的各相似度信息得到相似度分数,一条信息对应一个相似度分数,进而将日志信息全部处理得到对应的相似度信息,例如一分钟进行5条日志,其对应的相似度分数集合为{A,B,C,D,E}。对于服务器有多个日志信息,其获取所有日志信息,得到服务器的相似度列表。进而根据服务器的相似度列表确定服务器的状态等级。
相似度信息超出相似度阈值时,则将当前信息匹配相似警告信息以便后续的确定服务器的装填等级。对于相似度匹配可以通过余弦相似度,欧几里得度量、或者皮尔逊相关系数等进行匹配,本发明不做具体限定,只要能得到对应的各相似度信息即可。
本实施例提供的根据哈希指纹与告警信息的关系确定服务器的状态等级,将日志信息的多条信息得到的哈希指纹与告警信息的各参考指纹信息进行相似度匹配进而得到当前信息的相似度分数,根据相似度分数得到服务器的状态等级。将其信息进行细化,便于确定服务器的状态等级更为准确。
在上述实施例的基础上,根据当前信息的相似度分数得到服务器的状态等级,具体包括:
获取当前信息的相似警告信息以及对应的警告重要性系数;
将相似警告信息、警告重要性系数以及相似度分数进行加权平均值处理得到服务器的状态等级。
具体地,相似度分数列表通过以下公式表示:
Scores={Sc1,Sc2,...,Scn}
其中,Sci为当前日志的相似度分数。
根据获取的相似警告信息得到对应的相似告警等级,根据相似告警等级得到基础权重
Figure BDA0003626025430000091
其由以下公式表示:
Figure BDA0003626025430000092
其中,level为日志清单中记录的告警等级,也就是相似告警等级由1至10共10个等级。
当前信息的相似警告信息对应的警告重要性系数,根据由相似警告信息得到的基础权重、警告重要性系数以及相似度分数三个值进行加权平均值算法得到服务器的状态等级,其加权平均值公式如下:
Figure BDA0003626025430000093
其中,Level为状态等级,Sci为当前日志的相似度分数,
Figure BDA0003626025430000094
为基础权重,δ为告警重要性系数。
本发明实施例提供的根据当前信息的相似度分数得到服务器的状态等级,将状态等级的确定形式进行细化,增加服务器的状态等级的准确度,便于后续告警信息的准确输出。
作为一种优选地实施例,将当前信息对应的哈希指纹与各参考指纹信息进行相似度匹配得到对应的各相似度信息,包括:
将哈希指纹与各参考指纹信息进行余弦相似度匹配得到对应的各相似度信息。
具体地,各相似度信息通过余弦相似度得到,计算两个指纹信息(哈希指纹与参考指纹信息)通过以下公式进行得到:
Figure BDA0003626025430000101
其中,n为指纹信息的长度,Ai为哈希指纹的第i位,Bi为参考指纹信息的第i位,当两条指纹信息的余弦值越小,即夹角θ越小,表明两条指纹信息的相似度越高。
结合上述的实施例,其相似度阈值设定为0.8,即当cosθ>0.8时,将当前信息匹配相似警告信息,若低于该阈值,则认为信息为无关紧要的信息,可以存储或者丢弃,不做具体限定。
本发明实施例提供的将哈希指纹与各参考指纹信息进行余弦相似度匹配得到对应的各相似度信息。余弦相似度与其他相似度方法相比,衡量的是维度间取值方向的一致性,注重维度之间的差异。
在上述实施例中,告警重要性系数的确定通过如下步骤:
获取当前信息的警告次数、告警信息的告警总数以及日志信息包含当前信息的警告信息的日志条数;
根据警告次数、告警总数以及日志条数的关系确定告警重要性系数。
具体地,告警重要性系数用于衡量某条告警信息是否为常见告警,如果少见,但在本次采集的日志中多次出现,则可能意味着该服务器存在较严重的故障。针对一条告警信息,当前信息的匹配的相似警告信息,在本次采集中出现的总次数,即为当前信息的警告次数α。告警信息中的告警总数β,本次采集的服务器的日志信息中包含当前信息的警告信息的日志条数,也就是日志信息包含当前信息的警告信息的日志条数γ,根据三种数据的关系确定告警重要性系数δ,通过以下公式得到:
Figure BDA0003626025430000102
本实施例提供的根据警告次数、告警总数以及日志条数的关系确定告警重要性系数。便于根据告警重要性系数以及其他系数确定服务器的状态等级。
在上述实施例的基础上,当服务器为异常状态时,输出当前告警信息,具体包括:
通过短信或邮箱形式输出当前告警信息。
对于输出告警信息的形式可以通过Web页面进行输出,考虑到用户不会较长时间在机房内或者电脑旁,当出现告警信息可以通过短信或者邮箱形式发送至用户以便用户及时查看维护。也可以将三种形式组合设置,本发明不做具体限定,根据实际情况设定即可,只要能及时提醒用户即可。
本发明实施例提供的通过短信或邮箱形式输出当前告警信息,提高用户的体验感,及时提醒用户进行查看维护。
上述详细描述了日志信息的处理方法对应的各个实施例,在此基础上,本发明还公开与上述方法对应的日志信息的处理装置,图2为本发明实施例提供的一种日志信息的处理装置的结构图。如图2所示,日志信息的处理装置包括:
采集模块11,用于采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息;
映射模块12,用于根据哈希规则将日志信息进行映射得到哈希指纹;
确定模块13,用于根据哈希指纹与告警信息的关系确定服务器的状态等级;
输出模块14,用于当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。
由于装置部分的实施例与上述的实施例相互对应,因此装置部分的实施例请参照上述方法部分的实施例描述,在此不再赘述。
本发明实施例提供的一种日志信息的处理装置,包括采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息;根据哈希规则将日志信息进行映射得到哈希指纹;根据哈希指纹与告警信息的关系确定服务器的状态等级;当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。根据哈希规则将日志信息映射得到哈希指纹,进而根据哈希指纹与告警信息的关系确定服务器的状态等级,当状态等级低于预设等级时输出告警信息,通过对日志信息进行分析以得到服务器的状态等级,减少工作人员的排查故障时间,便于故障定位,当出现问题进行告警信息提示,方便工作人员查看,避免现有的根据日志信息零散数据和相关经验排查,降低设备故障导致的损失。
图3为本发明实施例提供的另一种日志信息的处理装置的结构图,如图3所示,该装置包括:
存储器21,用于存储计算机程序;
处理器22,用于执行计算机程序时实现日志信息的处理方法的步骤。
本实施例提供的日志信息的处理装置可以包括但不限于智能手机、平板电脑、笔记本电脑或者台式电脑等。
其中,处理器22可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器22可以采用数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器22也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器(CentralProcessing Unit,CPU);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器22可以集成有图像处理器(Graphics Processing Unit,GPU),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器22还可以包括人工智能(Artificial Intelligence,AI)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器21可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器21还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器21至少用于存储以下计算机程序211,其中,该计算机程序被处理器22加载并执行之后,能够实现前述任一实施例公开的日志信息的处理方法的相关步骤。另外,存储器21所存储的资源还可以包括操作系统212和数据213等,存储方式可以是短暂存储或者永久存储。其中,操作系统212可以包括Windows、Unix、Linux等。数据213可以包括但不限于日志信息的处理方法所涉及到的数据等等。
在一些实施例中,日志信息的处理装置还可包括有显示屏23、输入输出接口24、通信接口25、电源26以及通信总线27。
领域技术人员可以理解,图3中示出的结构并不构成对日志信息的处理装置的限定,可以包括比图示更多或更少的组件。
处理器22通过调用存储于存储器21中的指令以实现上述任一实施例所提供的日志信息的处理方法。
本发明实施例提供的一种日志信息的处理装置,包括采集服务器运行时产生的日志信息以及告警信息,其中告警信息为服务器生产提供的参考信息;根据哈希规则将日志信息进行映射得到哈希指纹;根据哈希指纹与告警信息的关系确定服务器的状态等级;当服务器的状态等级低于预设等级时,则确定服务器为异常状态并输出当前告警信息以便用户查看。根据哈希规则将日志信息映射得到哈希指纹,进而根据哈希指纹与告警信息的关系确定服务器的状态等级,当状态等级低于预设等级时输出告警信息,通过对日志信息进行分析以得到服务器的状态等级,减少工作人员的排查故障时间,便于故障定位,当出现问题进行告警信息提示,方便工作人员查看,避免现有的根据日志信息零散数据和相关经验排查,降低设备故障导致的损失。
进一步的,本发明还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器22执行时实现如上述日志信息的处理方法的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的一种计算机可读存储介质的介绍请参照上述方法实施例,本发明在此不再赘述,其具有上述日志信息的处理方法相同的有益效果。
以上对本发明所提供的一种日志信息的处理方法、日志信息的处理装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种日志信息的处理方法,其特征在于,包括:
采集服务器运行时产生的日志信息以及告警信息,其中所述告警信息为所述服务器生产提供的参考信息;
根据哈希规则将所述日志信息进行映射得到哈希指纹;
根据所述哈希指纹与所述告警信息的关系确定所述服务器的状态等级;
当所述服务器的状态等级低于预设等级时,则确定所述服务器为异常状态并输出当前告警信息以便用户查看。
2.根据权利要求1所述的日志信息的处理方法,其特征在于,所述根据哈希规则将所述日志信息进行映射得到哈希指纹,包括:
获取所述日志信息的当前信息,其中所述日志信息包括多条所述当前信息;
根据核心内容字段将所述当前信息进行过滤处理得到过滤信息;
将所述过滤信息进行分词得到关键词信息,并根据词频分配权重得到对应的权重信息;
根据哈希函数将所述关键词信息进行映射得到哈希串信息;
根据所述哈希串信息与所述权重信息得到对应的关键词权重信息;
将各所述关键词权重信息进行合并处理得到所述哈希指纹。
3.根据权利要求2所述的日志信息的处理方法,其特征在于,所述根据所述哈希指纹与所述告警信息的关系确定所述服务器的状态等级,包括:
根据所述哈希规则将所述告警信息的参考信息进行映射得到参考指纹信息,其中所述参考指纹信息为多条信息;
将所述当前信息对应的哈希指纹与各所述参考指纹信息进行相似度匹配得到对应的各相似度信息;
当所述相似度信息大于相似度阈值时,则将所述当前信息匹配相似警告信息;
根据各所述相似度信息得到所述当前信息的相似度分数;
根据所述当前信息的相似度分数得到所述服务器的状态等级。
4.根据权利要求3所述的日志信息的处理方法,其特征在于,所述根据所述当前信息的相似度分数得到所述服务器的状态等级,包括:
获取所述当前信息的相似警告信息以及对应的警告重要性系数;
将所述相似警告信息、所述警告重要性系数以及所述相似度分数进行加权平均值处理得到所述服务器的状态等级。
5.根据权利要求3所述的日志信息的处理方法,其特征在于,所述将所述当前信息对应的哈希指纹与各所述参考指纹信息进行相似度匹配得到对应的各相似度信息,包括:
将所述哈希指纹与各所述参考指纹信息进行余弦相似度匹配得到对应的各所述相似度信息。
6.根据权利要求4所述的日志信息的处理方法,其特征在于,所述告警重要性系数的确定通过如下步骤:
获取所述当前信息的警告次数、所述告警信息的告警总数以及所述日志信息包含所述当前信息的警告信息的日志条数;
根据所述警告次数、所述告警总数以及所述日志条数的关系确定所述告警重要性系数。
7.根据权利要求1所述的日志信息的处理方法,其特征在于,当所述服务器为异常状态时输出所述当前告警信息,包括:
通过短信或邮箱形式输出所述当前告警信息。
8.一种日志信息的处理装置,其特征在于,包括:
采集模块,用于采集服务器运行时产生的日志信息以及告警信息,其中所述告警信息为所述服务器生产提供的参考信息;
映射模块,用于根据哈希规则将所述日志信息进行映射得到哈希指纹;
确定模块,用于根据所述哈希指纹与所述告警信息的关系确定所述服务器的状态等级;
输出模块,用于当所述服务器的状态等级低于预设等级时,则确定所述服务器为异常状态并输出当前告警信息以便用户查看。
9.一种日志信息的处理装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的日志信息的处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的日志信息的处理方法的步骤。
CN202210469680.6A 2022-04-30 2022-04-30 一种日志信息的处理方法、装置及介质 Pending CN114860491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210469680.6A CN114860491A (zh) 2022-04-30 2022-04-30 一种日志信息的处理方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210469680.6A CN114860491A (zh) 2022-04-30 2022-04-30 一种日志信息的处理方法、装置及介质

Publications (1)

Publication Number Publication Date
CN114860491A true CN114860491A (zh) 2022-08-05

Family

ID=82635443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210469680.6A Pending CN114860491A (zh) 2022-04-30 2022-04-30 一种日志信息的处理方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114860491A (zh)

Similar Documents

Publication Publication Date Title
CN110928718B (zh) 一种基于关联分析的异常处理方法、系统、终端及介质
US10423624B2 (en) Event log analysis
CN112100149B (zh) 日志自动化分析系统
CN113535454B (zh) 一种日志数据异常检测的方法及设备
CN112433874A (zh) 一种故障定位方法、系统、电子设备及存储介质
CN112988509A (zh) 一种告警消息过滤方法、装置、电子设备及存储介质
CN113254255A (zh) 一种云平台日志的分析方法、系统、设备及介质
CN114978877B (zh) 一种异常处理方法、装置、电子设备及计算机可读介质
US8543552B2 (en) Detecting statistical variation from unclassified process log
CN111159127A (zh) 一种基于Apriori算法的日志分析的方法及装置
CN115913710A (zh) 异常检测方法、装置、设备及存储介质
CN115509797A (zh) 一种故障类别的确定方法、装置、设备及介质
CN110719278A (zh) 一种网络入侵数据的检测方法、装置、设备及介质
CN113282920A (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN116471174B (zh) 一种日志数据监测系统、方法、装置和存储介质
CN111831528A (zh) 一种计算机系统日志关联方法及相关装置
CN117130851A (zh) 一种高性能计算集群运行效率评价方法及系统
CN116225848A (zh) 日志监测方法、装置、设备和介质
CN114860491A (zh) 一种日志信息的处理方法、装置及介质
CN113535458B (zh) 异常误报的处理方法及装置、存储介质、终端
CN112395179B (zh) 一种模型训练方法、磁盘预测方法、装置及电子设备
CN115114070A (zh) 一种故障诊断方法、装置、设备及介质
CN111581044A (zh) 集群优化方法、装置、服务器及介质
WO2022072017A1 (en) Methods and systems for multi-resource outage detection for a system of networked computing devices and root cause identification
CN113220551A (zh) 指标趋势预测及预警方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination