CN109992475B - 一种日志的处理方法、服务器及存储介质 - Google Patents

一种日志的处理方法、服务器及存储介质 Download PDF

Info

Publication number
CN109992475B
CN109992475B CN201910211921.5A CN201910211921A CN109992475B CN 109992475 B CN109992475 B CN 109992475B CN 201910211921 A CN201910211921 A CN 201910211921A CN 109992475 B CN109992475 B CN 109992475B
Authority
CN
China
Prior art keywords
log
logs
word
processed
bag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910211921.5A
Other languages
English (en)
Other versions
CN109992475A (zh
Inventor
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201910211921.5A priority Critical patent/CN109992475B/zh
Publication of CN109992475A publication Critical patent/CN109992475A/zh
Application granted granted Critical
Publication of CN109992475B publication Critical patent/CN109992475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例涉及数据处理领域，公开了一种日志的处理方法、服务器及存储介质。本申请的部分实施例中，日志的处理方法包括：获取待处理的日志；对待处理的日志进行处理，得到待处理的日志的词袋；将待处理的日志的词袋与历史日志的词袋进行对比，确定待处理的日志的词袋与历史日志的词袋的关系；根据待处理的日志的词袋与历史日志的词袋的关系，确定是否保留待处理的日志。该实现中，减少了记录的日志的数量，减少了人工处理日志所花费的时间和精力。

Description

一种日志的处理方法、服务器及存储介质
技术领域
本发明实施例涉及数据处理领域，特别涉及一种日志的处理方法、服务器及存储介质。
背景技术
内核日志是服务器在运行过程中，用于记录自身，以及所运行进程、模块等性能状况的主要手段。然而，对于一部分内核消息而言，内核日志却无法将其记录。例如系统在发生宕机(panic)的时候，有一部分信息是直接通过屏幕显示的，这部分信息由于宕机的原因无法被记录在内核日志中。当系统重启之后，这部分信息就会消失。当前，一些传输工具，例如，netconsoles，解决了这部分内核日志无法被收集的问题。它通过网络，将这部分内核日志发到了另一台服务器上进行存储，使得系统得以保留的内核日志尽可能的没有遗漏。
然而，发明人发现现有技术中至少存在如下问题：每日产生的日志量巨大，尤其对于企业级的服务器数量而言，日志量更是极为庞大，对每台服务器的日志进行人工处理将浪费大量的时间和精力。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施方式的目的在于提供一种日志的处理方法、服务器及存储介质，使得减少了记录的日志的数量，减少了人工处理日志所花费的时间和精力。
为解决上述技术问题，本发明的实施方式提供了一种日志的处理方法，包括以下步骤：获取待处理的日志；对待处理的日志进行处理，得到待处理的日志的词袋；将待处理的日志的词袋与历史日志的词袋进行对比，确定待处理的日志的词袋与历史日志的词袋的关系；根据待处理的日志的词袋与历史日志的词袋的关系，确定是否保留待处理的日志。
本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的日志的处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的日志的处理方法。
本发明实施方式相对于现有技术而言，将待处理的日志的词袋和历史日志的词袋进行对比，能够确定待处理的日志的关系和历史日志的词袋的关系，该关系体现了待处理的日志和历史日志的关系。由于服务器能够确定待处理的日志和历史日志的关系，即可根据该关系，有选择的保留已记录的日志，减少了记录的日志的数量，降低了人工处理日志的负担。
另外，对待处理的日志进行处理，得到待处理的日志的词袋，具体包括：删除待处理的日志中的变量，变量为预先设置的参量；将删除变量后的待处理的日志拆分为N个单词，生成待处理的日志的词袋，N为正整数。该实现中，有选择的删除日志中的一些不重要的信息，避免不重要的信息造成信息冗余。
另外，预先设置的参量至少包括坏道的位置信息、坏道的编号信息、坏块的位置信息和坏块的编号信息中的任意一个。
另外，删除待处理的日志中的变量，具体包括：识别待处理的日志的正文部分的数字；将待处理的日志的正文部分的数字删除。
另外，根据待处理的日志的词袋与历史日志的词袋的关系，确定是否保留待处理的日志，具体包括：若确定待处理的日志的词袋与历史日志的词袋的关系为第一关系或第二关系，删除待处理的日志；若确定待处理的日志的词袋与历史日志的词袋的关系为第三关系，保留历史日志的时间戳部分和待处理的日志的词袋；若确定待处理的日志的词袋与历史日志的词袋的关系为第四关系或第五关系，保留待处理的日志的时间戳部分和待处理的日志的词袋；其中，第一关系为历史日志的词袋包含待处理的日志的词袋，第二关系为历史日志的词袋与待处理的日志的词袋相等，第三关系为待处理的日志的词袋包含历史日志的词袋，第四关系为待处理的日志的词袋与历史日志的词袋相交，第五关系为待处理的日志的词袋与历史日志的词袋独立。
另外，将待处理的日志的词袋与历史日志的词袋进行对比，确定待处理的日志的词袋与历史日志的词袋的关系之前，日志的处理方法还包括：确定待处理的日志的词袋中未包括屏蔽词袋中的所有单词。该实现中，直接去除一部分日志，减轻了服务器的处理压力，进一步减少了日志的数量。
另外，在处理完所有待处理的日志之后，日志的处理方法还包括：获取保留的日志，将保留的日志作为参考日志；确定参考日志之间的相似度；根据参考日志之间的相似度，对参考日志进行分类；其中，同一类的日志的相似度大于第一预设值；确定每一类的日志的故障类别，以及每个参考日志的故障级别；根据参考日志、参考日志的类别和参考日志的故障级别，生成映射文件，其中，映射文件用于分析后续接收的日志。该实现中，使得能够根据参考日志的情况，分析后续接收的日志，提高了服务器的智能性，降低了维护人员的工作量。
另外，确定参考日志之间的相似度，具体包括：在确定任意两个参考日志的相似度的过程中，分别进行以下操作：确定两个参考日志的词袋之间的相似度；将两个参考日志的词袋之间的相似度，作为两个参考日志之间的相似度。
另外，在根据参考日志、参考日志的类别和参考日志的故障级别，生成映射文件之后，日志的处理方法还包括：获取待分析日志；对待分析日志进行处理，得到待分析日志的词袋；确定待分析日志的词袋与映射文件中的参考日志的词袋的相似度；根据待分析日志的词袋与参考日志的词袋的相似度，确定待分析日志的故障类别和待分析日志的故障级别。
另外，根据待分析日志的词袋与参考日志的词袋的相似度，确定待分析日志的故障类别和待分析日志的故障级别，具体包括：将与待分析日志的词袋的相似度最高的参考日志的故障类别，作为待分析日志的故障类别；将相似度最高的参考日志的故障级别，作为待分析日志的故障级别。
另外，根据待分析日志的词袋与参考日志的词袋的相似度，确定待分析日志的故障类别和待分析日志的故障级别，具体包括：判断映射文件中是否存在与待分析日志的词袋的相似度大于第二预设值的参考日志的词袋；若确定是，将与待分析日志的词袋的相似度最高的参考日志的故障类别，作为第一日志的故障类别，将相似度最高的参考日志的故障级别，作为待分析日志的故障级别；否则，确定待分析日志的词袋的故障类别为未知类别，待分析日志的故障级别为未知级别。
另外，确定待分析日志的词袋与映射文件中的参考日志的词袋的相似度，具体包括：按照待处理日志的词袋、参考日志的词袋和相似度的约束关系，计算相似度；其中，约束关系为：相似度＝同时出现在第一日志的词袋和参考日志的词袋的单词数量/(第一日志的词袋的单词数量+参考日志的单词数量-同时出现在第一日志的词袋和参考日志的词袋的单词数量)。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明的第一实施方式的日志的处理方法的流程图；
图2是本发明的第二实施方式的日志的处理方法的流程图；
图3是本发明的第三实施方式的日志的分析方法的流程图；
图4是本发明的第四实施方式的日志的分析方法的流程图；
图5是本发明的第五实施方式的服务器的结构示意图；
图6是本发明的第六实施方式的服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种日志的处理方法，应用于服务器。如图1所示，该日志的处理方法包括：
步骤101：获取待处理的日志。
具体地说，待处理的日志可以是服务器自身产生的日志，也可以是存储在该服务器上的其他服务器的日志。其中，其他服务器可以通过netconsoles将自身的日志传输到该服务器，也可以通过其他方式，将其他服务器的日志拷贝至该服务器。
需要说明的是，本领域技术人员可以理解，该日志的处理方法，可以应用于服务器对已记录的多条日志进行处理的过程中，也可以应用于服务器在日志产生后，判断是否记录该日志的过程中，本实施方式不限制该日志的处理方法的应用场景。
为阐述清楚，本实施方式中，假设，服务器在接收到第一日志文件后，使用本实施方式提及的日志的处理方法，对每条日志按从旧到新的顺序依次进行处理。本领域技术人员可以理解，实际应用中，服务器处理自身产生的日志的过程可以参考本实施方式的相关内容，此处不再赘述。
步骤102：对待处理的日志进行处理，得到待处理的日志的词袋。
具体地说，日志主要是由单词组成，将一条日志转换成一个若干个单词组成的词袋，词袋中不含重复单词，通过日志的词袋间的关系，可以确定日志之间的关系。
在一个例子中，服务器先删除待处理的日志中的变量；将删除变量后的待处理的日志拆分为N个单词，生成待处理的日志的词袋，N为正整数。即服务器在将日志转换为词袋前，对待处理的日志进行压缩处理。由于待处理的日志中可能存在一些过于详细的信息，或者是维护人员不看重的信息，该信息对分析服务器的运行状态的用处不大，故维护人员可以将这些信息设置为变量，以便服务器在处理日志时，将这些信息删除，压缩日志。
以下对服务器删除待处理的日志中的变量的过程进行举例说明。
在一个例子中，变量为预先设置的参量。其中，预先设置的参量至少包括坏道的位置信息、坏道的编号信息、坏块的位置信息和坏块的编号信息中的任意一个。该情况下，服务器删除上述变量的方法可以是：识别待处理的日志的正文部分的数字；将待处理的日志的正文部分的数字删除。
对于每一条日志，可以将其拆分为两个部分，即时间戳部分和正文部分。对于正文部分而言，去除其中的预先设置的变量，保留其中的定量。其中，定量为日志中较为重要的信息。变量和定量的确定可以根据经验和需求设置。
在一个例子中，变量可以包括但不限于以下信息：
1.过于详细的信息，如坏道的位置信息(如地址)、坏块的位置信息、坏道的编号信息和坏块的编号信息，上述信息由一连串的数字，或是数字加英文字母组成。
2.较为不重要的信息，如sda1中的1表示名称为sda的磁盘的第一分区，其中，sda为重要信息，1为不重要信息。
由于上述信息中均包括数字，服务器可以通过识别数字的方法来确定日志中的变量。当然，本实施方式中以识别数字的方法来确定日志中的变量，并不代表数字均为不重要的信息。例如，内容为Nov 26 00:24:04 CPU27:Package power limit notification(total events＝173318)的日志中，CPU27中的27的重要性与sda磁盘中的a的重要性相同，不应该被删除。其中，Nov 26 00:24:04CPU27:Package power limit notification(totalevents＝173318)表示在11月26日0点24分4秒，27号中央处理器(Central ProcessingUnit，CPU)的性能功率限制通知(总事件＝173318)。该情况下，可以通过修改删除规则，避免错误删除该重要信息的情况。例如，在将待处理的日志的正文部分的数字删除之前，服务器判断该数字之前的单词是不是CPU，若确定不是，则删除该数字。
需要说明的是，本领域技术人员可以理解，当预先设置的变量发生变化时，服务器识别变量的方法也可能发生变化，实际应用中，可以根据需要设置服务器识别变量的方法。
以下结合实际情况，说明对待处理的日志进行压缩处理的过程。
例如，待处理的日志为：Nov 20 00:01:02I/O error on device sdc1,logicalblock 1057。该日志的正文部分为：I/O error on device sdc1，logical block 1057。其中，变量为sdc1，指代的是sdc磁盘的第一个分区，变量1057表示的是第1057个逻辑块，定量即为“I/O error on device”与“logical block”。因此，该日志告诉我们在对sdc盘的第一个分区的1057号逻辑块进行读写操作时出现了错误。对日志进行压缩处理，即对当前的日志中的信息进行一些修改，或是说是丢弃一些较为不重要的信息，以达到压缩的目的。对示例中的日志记录而言，可以抛弃1057这个信息以及sdc的“第一个分区”这个信息。因此，对示例的日志进行压缩处理后，得到的信息为I/O error on device sdc，logical block。该信息表示名称为sdc的磁盘出现了逻辑块读写错误。
通过上述内容可知，对待处理的日志的压缩处理，保留了待处理的日志中较为重要的信息，丢弃了较不重要的信息，减少了日志占用的存储空间。
需要说明的是，本领域技术人员可以理解，实际应用中，服务器也可以对待处理的日志进行其他处理，本实施方式以压缩处理为例，但压缩处理并不是对待处理的日志进行处理的过程中的必要步骤，可以有选择的执行该部分内容。
步骤103：将待处理的日志的词袋与历史日志的词袋进行对比，确定待处理的日志的词袋与历史日志的词袋的关系。
具体地说，待处理的日志的词袋(以下简称词袋1)与历史日志的词袋(以下简称词袋2)之间的关系包括但不限于：第一关系、第二关系、第三关系、第四关系和第五关系。其中，第一关系为历史日志的词袋包含待处理的日志的词袋，第二关系为历史日志的词袋与待处理的日志的词袋相等，第三关系为待处理的日志的词袋包含历史日志的词袋，第四关系为待处理的日志的词袋与历史日志的词袋相交，第五关系为待处理的日志的词袋与历史日志的词袋独立。
以下对待处理的日志的词袋(以下简称词袋1)与历史日志的词袋(以下简称词袋2)的各种关系进行解释说明。
首先，对第一关系和第三关系进行解释，即对词袋1包含词袋2或词袋2包含词袋1表征的包含关系进行解释。词袋1包含词袋2表示词袋2所有单词均出现在词袋1中，而词袋1有一些单词却不在词袋2中。词袋2包含词袋1表示词袋1所有单词均出现在词袋2中，而词袋2有一些单词却不在词袋1中。当日志的传输过程出现问题时，相同的两条日志的词袋的关系可能是该包含关系。例如，对于两句完全相同的日志内容而言，netconsoles在传输日志的过程中，其中一句丢失了一些元素，导致服务器接收到一句完整的日志和一句残缺的日志。该情况下，完整的日志的词袋包含残缺的日志的词袋，词袋之间存在包含关系。
然后，对第二关系进行解释，即对词袋1与词袋2相等表征的相等关系进行解释。词袋1与词袋2相等，说明词袋1中的单词和词袋2中的单词完全相同。例如，两条完全相同的日志所产生的词袋相等，或者是，重要信息相同的日志的词袋相等。
接着，对第四关系进行解释，即对词袋1与词袋2相交表征的相交关系进行解释。词袋1与词袋2相交表示词袋1和词袋2中有一部分单词一一对应，但彼此均有一部分单词没有出现在对方的词袋中。当待处理的日志与历史日志中的一些重要信息相同，一些重要信息不同时，词袋1与词袋2为相交关系。例如，待处理的日志为Nov 25 18:09:11Kernel panic-not syncing:Fatal hardware error！历史日志为Nov 20 00:01:02I/O error on devicesdc1,logical block 1057，两个词袋均有单词“error”，但却是两条完全不同的日志。其中，“Nov 25 18:09:11Kernel panic-not syncing:Fatal hardware error！”表示11月25日18点9分11秒，系统出现了内核死机-不同步：致命的硬件错误！“Nov 20 00:01:02I/Oerror on device sdc1,logical block 1057”表示11月20日0点1分2秒，在名称为sdc的磁盘的第一个分区的逻辑块1057上发生了读写错误。
最后，对第五关系进行解释，即对词袋1与词袋2独立进行解释说明。词袋1与词袋2独立，即词袋1与词袋2没有相同的单词，各自对应的日志之间完全没有联系。
在一个例子中，服务器中设置有屏蔽词袋，服务器在执行步骤103之前，确定待处理的日志的词袋中未包括屏蔽词袋中的所有单词。屏蔽词袋中包含屏蔽单词，当待处理的日志的词袋中包括屏蔽词袋中的所有单词时，服务器删除该日志。
在一个例子中，服务器中设置有16个屏蔽词袋。第1个屏蔽词袋中的屏蔽单词为audit(审计)，第2个屏蔽词袋中的屏蔽单词为inode(元数据节点)，第3个屏蔽词袋中的屏蔽单词为hook(钩子)，第4个屏蔽词袋中的屏蔽单词为hung(挂起)、task(任务)、timeout(超时)和secs(秒)，第5个屏蔽词袋中的屏蔽单词为CAP(权限)、NET(网络)和ADMIN(管理员)，第6个屏蔽词袋中的屏蔽单词为filesystem(文件系统)，第7个屏蔽词袋中的屏蔽单词为IPVS(IP Virtual Server，IP虚拟服务器)，第8个屏蔽词袋中的屏蔽单词为the(这)、kdump(内核)、crash(宕机)和info(信息)，第9个屏蔽词袋中的屏蔽单词为USB(UniversalSerial Bus，通用串行总线)，第10个屏蔽词袋中的屏蔽单词为bitmap(位图)，第11个屏蔽词袋中的屏蔽单词为connect(连接)、debounce(去抖动)和failed(失败)，第12个屏蔽词袋中的屏蔽单词为eth(网卡)、Reset(重启)和adapter(适配器)，第13个屏蔽词袋中的屏蔽单词为loading(加载)、buddy(伙伴)和information(信息)，第14个屏蔽词袋中的屏蔽单词为license(证书)和expired(过期)，第15个屏蔽词袋中的屏蔽单词为bus(总线)和error(错误)，第16个屏蔽词袋中的屏蔽单词为error(错误)和device(设备)。当待处理的日志包括上述任意一个屏蔽词袋中的所有单词时，删除该待处理的日志。
需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要设置屏蔽词袋的个数，本实施方式不限制屏蔽词袋的个数。
需要说明的是，本领域技术人员可以理解，每个屏蔽词袋中的屏蔽单词可以根据需要设置，此处不一一列举。
值得一提的是，服务器根据设置的屏蔽词袋，直接去除一部分日志，减轻了服务器的处理压力，进一步减少了日志的数量。
步骤104：根据待处理的日志的词袋与历史日志的词袋的关系，确定是否保留待处理的日志。
具体地说，在对第一日志文件处理的过程中，将第一日志文件中已处理且确定要参考日志保存在第二日志文件中。其中，历史日志是指第二日志文件中的日志。
需要说明的是，本领域技术人员可以理解，若服务器在日志产生后立即对该日志进行处理，在确定保留该日志后，再记录该日志，则历史日志是指已记录的日志，本实施方式不限制历史日志的含义。
在一个例子中，服务器若确定待处理的日志的词袋与历史日志的词袋的关系为第一关系或第二关系，删除待处理的日志；若确定待处理的日志的词袋与历史日志的词袋的关系为第三关系，保留历史日志的时间戳部分和待处理的日志的词袋；若确定待处理的日志的词袋与历史日志的词袋的关系为第四关系或第五关系，保留待处理的日志的时间戳部分和待处理的日志的词袋。当待处理的日志的词袋与历史日志的词袋为第一关系时，说明待处理的日志可能有残缺，或者，历史日志记录的信息比待处理的日志记录的信息更详细，当待处理的日志的词袋与历史日志的词袋为第三关系时，说明历史日志可能有残缺，或者，待处理的日志记录的信息比历史日志记录的信息更详细。针对这一情况，保留词袋较大的一条日志，并选择二者中时间戳较早的一条日志的时间戳作为该日志的时间戳。当待处理的日志的词袋与历史日志的词袋为第二关系时，说明待处理的日志可能与历史日志完全相同，所以可以删除该待处理的日志。当待处理的日志的词袋与历史日志的词袋的关系为第四关系时，说明历史日志和待处理的日志有一些参量相同，有一些参量不同，这两条日志可能是记录了同一磁盘不同故障类型的日志，也有可能是记录了不同磁盘的同一故障类型的日志，还有可能是仅仅一些描述性单词相同，但实质完全不同的日志。因此，需要保留待处理的日志和历史日志。当待处理的日志的词袋与历史日志的词袋为第五关系时，说明待处理的日志和历史日志是完全不相关的日志，故需要保留待处理的日志和历史日志。
通过上述内容可知，本实施方式提及的日志的处理方法，将重点放在发现日志之间的内在关系上，从而确保能够尽量准确地发现关键的日志。第一日志文件经过本实施方式提供的日志的处理方法处理后，可以得到第二日志文件，第二日志文件相对于第一日志文件而言，重复记录的日志和破损的日志大大减少，日志中一些过于详细的信息也被剔除，每条日志均为独一无二的记录，且以第一次出现的时间为准，使得能够减少日志占用的存储空间，去除无关或是错误日志，合并重复日志，从而加快分析速度。经验证，通过本实施方式提供的日志的处理方法处理后的日志文件可以减少90％的存储空间，分析效率成倍增长。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
与现有技术相比，本实施方式中提供的日志的处理方法，服务器将待处理的日志的词袋和历史日志的词袋进行对比，能够确定待处理的日志的关系和历史日志的词袋的关系，该关系体现了待处理的日志和历史日志的关系。由于服务器能够确定待处理的日志和历史日志的关系，即可根据该关系，有选择的保留已记录的日志，减少了记录的日志的数量，降低了人工处理日志的负担。
本发明的第二实施方式涉及一种日志的处理方法，本实施方式是对第一实施方式的进一步改进，具体改进之处为：在处理完所有待处理的日志之后，根据参考日志，生成映射文件，以便于分析后续接收到的日志。
具体的说，如图2所示，在本实施方式中，包含步骤201至步骤208，其中，步骤201至步骤204分别与第一实施方式中的步骤101至步骤104大致相同，此处不再赘述。下面主要介绍第二实施方式和第一实施方式的不同之处：
执行步骤201至步骤204。
在处理完所有的待处理的日志之后，执行以下步骤：
步骤205：获取保留的日志，将保留的日志作为参考日志，确定参考日志之间的相似度。
具体地说，服务器在确定任意两个参考日志的相似度的过程中，分别进行以下操作：确定两个参考日志的词袋之间的相似度；将两个参考日志的词袋之间的相似度，作为两个参考日志之间的相似度。例如，参考日志包括日志1和日志2，日志1的词袋为词袋3，日志2的词袋为词袋4，日志1和日志2之间的相似度＝词袋3和词袋4之间的相似度。
在第一个例子中，词袋3和词袋4之间的相似度＝同时出现在词袋3和词袋4中的单词数量/(词袋3的单词数量+词袋4的单词数量-同时出现在词袋3和词袋4中的单词数量)*100％。
在第二个例子中，服务器去除词袋3中的介词、连接词等没有含义的词汇得到词袋5，去除词袋4中的介词、连接词等没有含义的词汇得到词袋6，词袋3和词袋4之间的相似度＝同时出现在词袋5和词袋6中的单词数量/(词袋5的单词数量+词袋6的单词数量-同时出现在词袋5和词袋6中的单词数量)*100％。
步骤206：根据参考日志之间的相似度，对参考日志进行分类。
具体地说，同一类的日志的相似度大于第一预设值。其中，第一预设值可以是大于0小于1的任意百分数，例如，第一预设值为30％至60％的百分数，如40％。
例如，第一预设值为40％，参考日志包括5条日志，编号分别为1至5，每条日志处理前的信息、处理后的信息和词袋的大小如表格1所示。
表格1
其中，mce:[Hardware Error]:Machine check:Processor context corrupt表示机器检查异常：[硬件错误]：机器检查：处理器上下文损坏；Kernel panic-not syncing:Timeout:Not all CPU entered broadcast exception handler表示内核崩溃—不同步：超时：并非所有CPU都进入广播异常处理程序；sbridge:Lost 47memory errors表示丢失了47个内存错误；sbridge:HANDLINGMCE MEMORY ERROR表示处理MCE内存错误；mce:[Hardware Error]:CPU 17:Machine Check Exception:5Bank 12:be00003f001000c3表示检测17号CPU的时候发现异常，异常位置在5Bank 12:be00003f001000c3。使用第二个例子提供的方法计算每条日志之间的相似度，每条日志之间的相似度如表格2所示。
表格2
由上表可知，编号为1的日志和编号为5的日志属于反映同一故障类别的日志，编号为3的日志和编号为4的日志属于反映同一故障类别的日志，编号为2的日志独立为一类日志。通过不断的对已有的日志进行学习，可以不断丰富参考日志的故障类别。
步骤207：确定每一类的日志的故障类别，以及每个参考日志的故障级别。
具体地说，服务器将每一类的日志显示给维护人员，维护人员确定并输入该类的日志的故障类别，服务器根据用户输入的故障类别，确定每一类的日志的故障类别。服务器可以将各个参考日志显示给维护人员，维护人员确定并输入每个参考日志的故障级别，服务器根据维护人员输入的保留日志的故障级别，确定每个参考日志的故障级别。
需要说明的是，本领域技术人员可以理解，实际应用中，也可以由服务器自动识别每个日志的词袋的单词，确定日志的故障类别和故障级别，本实施方式不限制确定每一类的日志的故障类别，以及每个参考日志的故障级别。
在一个例子中，同一故障类别的词袋按照重要性从高到低分为A、B、C、D和E五个故障级别。
步骤208：根据参考日志、参考日志的故障类别和参考日志的故障级别，生成映射文件。
具体地说，映射文件为参考日志到参考日志的类别的映射，以及参考日志到参考日志的故障级别的映射，用于分析后续接收的日志，确定后续接收到的日志的故障类别和故障级别。
在一个例子中，生成映射文件之后，服务器利用映射文件，对后续接收到的日志进行分析。服务器分析日志的过程为：服务器获取待分析日志；对待分析日志进行处理，得到待分析日志的词袋；确定待分析日志的词袋与映射文件中的参考日志的词袋的相似度；根据待分析日志的词袋与参考日志的词袋的相似度，确定待分析日志的故障类别和待分析日志的故障级别。
在一个例子中，服务器根据待分析日志的词袋与参考日志的词袋的相似度，确定待分析日志的故障类别和待分析日志的故障级别的方法包括但不限于以下两种：
方法1：服务器将与待分析日志的词袋的相似度最高的参考日志的故障类别，作为待分析日志的故障类别；将相似度最高的参考日志的故障级别，作为待分析日志的故障级别。
方法2：服务器判断映射文件中是否存在与待分析日志的词袋的相似度大于第二预设值的参考日志的词袋；若确定是，将与待分析日志的词袋的相似度最高的参考日志的故障类别，作为第一日志的故障类别，将相似度最高的参考日志的故障级别，作为待分析日志的故障级别；否则，确定待分析日志的词袋的故障类别为未知类别，待分析日志的故障级别为未知级别。
在一个例子中，服务器确定待分析日志的词袋与映射文件中的参考日志的词袋的相似度的方法为：按照待处理日志的词袋、参考日志的词袋和相似度的约束关系，计算相似度；其中，约束关系为：相似度＝同时出现在第一日志的词袋和参考日志的词袋的单词数量/(第一日志的词袋的单词数量+参考日志的单词数量-同时出现在第一日志的词袋和参考日志的词袋的单词数量)。
需要说明的是，服务器分析待分析日志的过程可参考第三实施方式和第四实施方式中服务器分析第一日志的过程，此处不做详述，本领域技术人员可参考第三实施方式和第四实施方式的内容对待分析日志进行分析。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
与现有技术相比，本实施方式中提供的日志的处理方法，由于服务器能够确定待处理的日志和历史日志的关系，即可根据该关系，有选择的保留已记录的日志，减少了记录的日志的数量，降低了人工处理日志的负担。服务器根据已处理的日志，生成映射文件，以便服务器自动分析后续接收到的日志，提高了服务器的智能性，降低了维护人员的工作量，减轻了人工分析日志的压力。
本发明的第三实施方式涉及一种日志的分析方法，应用于服务器。如图3所示，包括以下步骤：
步骤301：获取待处理的第一日志。
步骤302：对第一日志进行处理，得到第一日志的词袋。
具体地说，日志主要是由单词组成，将一条日志转换成一个若干个单词组成的词袋，词袋中不含重复单词，通过日志的词袋间的关系，可以确定日志之间的关系。
在一个例子中，服务器删除第一日志中的变量，变量为预先设置的参量；将删除变量后的第一日志拆分为N个单词，生成待处理的日志的词袋，N为正整数。其中，预先设置的参量至少包括坏道的位置信息、坏道的编号信息、坏块的位置信息和坏块的编号信息中的任意一个。
在一个例子中，服务器删除第一日志中的变量的方法为：识别第一日志的正文部分的数字；将第一日志的正文部分的数字删除。
需要说明的是，服务器对第一日志进行处理，得到第一日志的词袋的过程与第一实施方式中对待处理的日志进行处理，得到待处理的日志的词袋的过程大致相同，本领域技术人员可以参考第一实施方式的相关内容执行该步骤。
步骤303：确定第一日志的词袋与映射文件中的参考日志的词袋的相似度。
具体地说，映射文件包括参考日志的词袋，以及参考日志的故障类别，和/或，参考日志的故障级别。映射文件的创建方法可以参考第二实施方式提及的日志的处理方法的相关内容，此处不再赘述。
服务器确定第一日志的词袋与映射文件中的参考日志的词袋的相似度的方法包括但不限于以下两种：
方法1：服务器按照第一日志的词袋、参考日志的词袋和相似度的约束关系，计算相似度；其中，约束关系为：相似度＝同时出现在第一日志的词袋和参考日志的词袋的单词数量/(第一日志的词袋的单词数量+参考日志的单词数量-同时出现在第一日志的词袋和参考日志的词袋的单词数量)。
方法2：服务器去除第一日志的词袋和参考日志的词袋中的无效单词，无效单词为预先指定的单词，例如，各种介词、连接词等没有含义的单词。在去除第一日志的词袋和参考日志的词袋中的无效单词后，按照第一日志的词袋、参考日志的词袋和相似度的约束关系，计算相似度。
值得一提的是，由于无效单词相同并不代表两个日志的故障类别，和/或，故障级别相同，因此，去除第一日志的词袋和参考日志的词袋中的无效单词，能够避免无效单词对第一日志的词袋与参考日志的词袋的相似度的影响。
在一个例子中，服务器中设置有屏蔽词袋，在确定第一日志的词袋与参考日志的词袋之前，判断第一日志的词袋是否包含屏蔽词袋中所有的单词，若确定是，则忽略该第一日志，否则，执行后续步骤。
步骤304：根据第一日志的词袋与参考日志的词袋的相似度，确定第一日志的故障类别，和/或，第一日志的故障级别。
具体地说，由于映射文件中包括参考日志的词袋、参考日志的故障类别，和/或，第一日志的故障级别，使得服务器能够使用该映射文件分析第一日志。
以下对服务器使用映射文件分析第一日志的方法进行举例说明。
方法a，服务器将映射文件中与第一日志的词袋的相似度最高的参考日志的故障类别，作为第一日志的故障类别，和/或，将与第一日志的词袋的相似度最高的参考日志的故障级别，作为第一日志的故障级别。
具体地说，若映射文件中包括参考日志的词袋和参考日志的故障类别，服务器将映射文件中与第一日志的词袋的相似度最高的参考日志的故障类别，作为第一日志的故障类别。若映射文件中包括参考日志的词袋和参考日志的故障级别，服务器将映射文件中与第一日志的词袋的相似度最高的参考日志的故障级别，作为第一日志的故障级别。若映射文件中包括参考日志的词袋、参考日志的故障类别和参考日志的故障级别，服务器将映射文件中与第一日志的词袋的相似度最高的参考日志的故障类别，作为第一日志的故障类别，将与第一日志的词袋的相似度最高的参考日志的故障级别，作为第一日志的故障级别。
方法b，服务器判断映射文件中是否存在与第一日志的词袋的相似度大于第二预设值的参考日志的词袋；若确定是，将与第一日志的词袋的相似度最高的参考日志的故障类别，作为第一日志的故障类别，和/或，将与第一日志的词袋的相似度最高的参考日志的故障级别，作为第一日志的故障级别；否则，确定第一日志的词袋的故障类别为未知类别，和/或，确定第一日志的故障级别为未知级别。其中，第二预设值可以根据需要设置为大于0小于1的数值，例如，设置为30％至60％的数值，如40％。
在一个例子中，可以将同一故障类别的日志分为A、B、C、D和E五个故障级别，其中，E为未知级别。针对同一故障类别同一故障级别的日志，其重要程度可能还存在一些差别，该情况下，可以在每个故障级别下衍生出M个子级别，例如，对于故障级别A，可以衍生出子级别A1、A2、A3、A4、A5、A6、A7、A8、A9和A10，使得同一故障级别的日志的词袋仍然有区别空间。
值得一提的是，在映射文件中不存在与第一日志的词袋的相似度大于第二预设值的参考日志的词袋时，说明第一日志与映射文件中的参考日志不属于同一故障类别，服务器将第一日志的词袋的故障类别标记为未知类别，便于维护人员及时发现未被发现的新出现的故障类别。
在一个例子中，映射文件包括参考日志的词袋、参考日志的故障类别和参考日志的故障级别。在服务器确定第一日志的词袋的故障类别为未知类别，确定第一日志的故障级别为未知级别之后，服务器上报第一日志；根据用户指定的故障类别和故障级别，确定第一日志的故障类别和第一日志的故障级别；根据第一日志的词袋、第一日志的故障类别和第一日志的故障级别，更新映射文件。
值得一提的是，服务器及时上报未知类别和未知级别的日志，并根据用户评定的故障类别和故障级别，更新映射文件，使得能够不断扩充和完善映射文件，提高服务器分析日志的准确性。
需要说明的是，在极端情况下，相似度最高的参考日志存在多个，即存在多个参考日志的词袋与第一日志的词袋的相似度相同，且为最高值，服务器可以将第一日志的故障类别设置为未知类别，第一日志的故障级别设置为未知级别。
与现有技术相比，本实施方式提供的日志的分析方法，服务器能够利用映射文件，对第一日志进行分析，确定第一日志的故障类别，和/或，第一日志的故障级别，提高了服务器的智能性，减轻了维护人员从分析日志的压力。除此之外，在分析日志的过程中，能够及时反馈未知类别的日志，并根据为未知类别的日志指定的故障类别和故障级别，及时更新映射文件，不断完善映射文件，映射文件越完善，使用该映射文件分析日志得到的结论越准确。
本发明的第四实施方式涉及一种日志的分析方法，本实施方式是对第三实施方式的进一步改进，具体改进之处为：在步骤304之后，增加了其他相关步骤。
具体的说，如图4所示，在本实施方式中，包含步骤401至步骤408，其中，步骤401至步骤403分别与第一实施方式中的步骤301至步骤303大致相同，此处不再赘述。下面主要介绍第四实施方式和第三实施方式的不同之处：
执行步骤401至步骤403。
步骤404：根据第一日志的词袋与参考日志的词袋的相似度，确定第一日志的故障类别和第一日志的故障级别。
具体地说，映射文件包括参考日志的词袋、参考日志的故障类别和参考日志的故障级别。服务器根据第一日志的词袋与参考日志的词袋的相似度，确定与第一日志的词袋相似度最高的参考日志，将相似度最高的参考日志的故障类别作为第一日志的故障类别，将相似度最高的参考日志的故障级别作为第一日志的故障级别。
步骤405：判断记录的日志中是否存在第二日志。
具体地说，第二日志为与第一日志属于同一故障类别的日志。若服务器确定记录的日志中存在第二日志，则执行步骤406，否则，执行步骤407。
步骤406：比较第一日志的故障级别和第二日志的故障级别，根据比较结果，更新记录的日志。
具体地说，服务器若确定比较结果指示第一日志的故障级别高于第二日志的故障级别，用第一日志覆盖第二日志；若确定比较结果指示第一日志的故障级别不高于第二日志的故障级别，不用第一日志覆盖第二日志，以实现高故障级别的日志覆盖低故障级别的日志。
值得一提的是，用高故障级别的日志覆盖低故障级别的日志，减少了记录的日志的数量，减轻了维护人员分析日志所浪费的时间和精力。维护人员可以更直观的获知每个故障类别中故障级别最高的关键日志，以便维护人员及时修复更为严重的故障。
需要说明的是，本领域技术可以理解，实际应用中，也可以采用其他方式更新记录的日志，例如，第一日志和第二日志以表格的形式存储于服务器中。若第一日志的故障级别高于第二日志，则将第一日志记录在第二日志之前，若第一日志的故障级别低于第一日志，则将第一日志记录在第二日志之后，本实施方式不限制更新日志的方法。
步骤407：记录第一日志。
具体地说，由于未记录该故障类别的日志，服务器可以将第一日志记录在日志文件中，以便维护人员获知该日志的信息。
与现有技术相比，本实施方式提供的日志的分析方法，在第一日志的故障级别高于已记录的同一故障类别的日志的故障级别后，用第一日志替换已记录的提日志，保证了记录的日志的重要程度不断提升，从而达到告警不断升级的效果。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第五实施方式涉及一种服务器，如图5所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述实施方式提及的日志的处理方法。
本发明的第六实施方式涉及一种服务器，如图6所示，包括：至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行如上述实施方式提及的日志的分析方法。
第五实施方式和第六实施方式中，服务器包括：一个或多个处理器以及存储器，图5和图6中以一个处理器为例。处理器、存储器可以通过总线或者其他方式连接，图5和图6中以通过总线连接为例。存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施方式中的日志的处理方法或日志的分析方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本发明的第七实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述日志的处理方法的实施例。
本发明的第八实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述日志的分析方法的实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种日志的处理方法，其特征在于，包括：
获取待处理的日志；
对所述待处理的日志进行处理，得到所述待处理的日志的词袋；
将所述待处理的日志的词袋与历史日志的词袋进行对比，确定所述待处理的日志的词袋与所述历史日志的词袋的关系；
根据所述待处理的日志的词袋与所述历史日志的词袋的关系，确定是否保留所述待处理的日志；
所述根据所述待处理的日志的词袋与所述历史日志的词袋的关系，确定是否保留所述待处理的日志，具体包括：
若确定所述待处理的日志的词袋与所述历史日志的词袋的关系为第一关系或第二关系，删除所述待处理的日志；
若确定所述待处理的日志的词袋与所述历史日志的词袋的关系为第三关系，保留所述历史日志的时间戳部分和所述待处理的日志的词袋；
若确定所述待处理的日志的词袋与所述历史日志的词袋的关系为第四关系或第五关系，保留所述待处理的日志的时间戳部分和所述待处理的日志的词袋。
2.根据权利要求1所述的日志的处理方法，其特征在于，所述对所述待处理的日志进行处理，得到所述待处理的日志的词袋，具体包括：
删除所述待处理的日志中的变量，所述变量为预先设置的参量；
将删除所述变量后的待处理的日志拆分为N个单词，生成所述待处理的日志的词袋，N为正整数。
3.根据权利要求2所述的日志的处理方法，其特征在于，所述预先设置的参量至少包括坏道的位置信息、坏道的编号信息、坏块的位置信息和坏块的编号信息中的任意一个。
4.根据权利要求3所述的日志的处理方法，其特征在于，所述删除所述待处理的日志中的变量，具体包括：
识别所述待处理的日志的正文部分的数字；
将所述待处理的日志的正文部分的数字删除。
5.根据权利要求1所述的日志的处理方法，其特征在于，所述第一关系为所述历史日志的词袋包含所述待处理的日志的词袋，所述第二关系为所述历史日志的词袋与所述待处理的日志的词袋相等，所述第三关系为所述待处理的日志的词袋包含所述历史日志的词袋，所述第四关系为所述待处理的日志的词袋与所述历史日志的词袋相交，所述第五关系为所述待处理的日志的词袋与所述历史日志的词袋独立。
6.根据权利要求1所述的日志的处理方法，其特征在于，在所述将所述待处理的日志的词袋与历史日志的词袋进行对比，确定所述待处理的日志的词袋与所述历史日志的词袋的关系之前，所述日志的处理方法还包括：
确定所述待处理的日志的词袋中未包括屏蔽词袋中的所有单词。
7.根据权利要求1至6中任一项所述的日志的处理方法，其特征在于，在处理完所有待处理的日志之后，所述日志的处理方法还包括：
获取保留的日志，将所述保留的日志作为参考日志，确定所述参考日志之间的相似度；
根据所述参考日志之间的相似度，对所述参考日志进行分类；其中，同一类的日志的相似度大于第一预设值；
确定每一类的日志的故障类别，以及每个所述参考日志的故障级别；
根据所述参考日志、所述参考日志的类别和所述参考日志的故障级别，生成映射文件，其中，所述映射文件用于分析后续接收的日志。
8.根据权利要求7所述的日志的处理方法，其特征在于，所述确定所述参考日志之间的相似度，具体包括：
在确定任意两个参考日志的相似度的过程中，分别进行以下操作：确定所述两个参考日志的词袋之间的相似度；将所述两个参考日志的词袋之间的相似度，作为所述两个参考日志之间的相似度。
9.根据权利要求7所述的日志的处理方法，其特征在于，在所述根据所述参考日志、所述参考日志的类别和所述参考日志的故障级别，生成映射文件之后，所述日志的处理方法还包括：
获取待分析日志；
对所述待分析日志进行处理，得到所述待分析日志的词袋；
确定所述待分析日志的词袋与所述映射文件中的参考日志的词袋的相似度；
根据所述待分析日志的词袋与所述参考日志的词袋的相似度，确定所述待分析日志的故障类别和所述待分析日志的故障级别。
10.根据权利要求9所述的日志的处理方法，其特征在于，所述根据所述待分析日志的词袋与所述参考日志的词袋的相似度，确定所述待分析日志的故障类别和所述待分析日志的故障级别，具体包括：
将与所述待分析日志的词袋的相似度最高的参考日志的故障类别，作为所述待分析日志的故障类别；
将所述相似度最高的参考日志的故障级别，作为所述待分析日志的故障级别。
11.根据权利要求9所述的日志的处理方法，其特征在于，所述根据所述待分析日志的词袋与所述参考日志的词袋的相似度，确定所述待分析日志的故障类别和所述待分析日志的故障级别，具体包括：
判断所述映射文件中是否存在与所述待分析日志的词袋的相似度大于第二预设值的参考日志的词袋；
若确定是，将与所述待分析日志的词袋的相似度最高的参考日志的故障类别，作为所述待分析日志的故障类别，将所述相似度最高的参考日志的故障级别，作为所述待分析日志的故障级别；
否则，确定待分析日志的词袋的故障类别为未知类别，所述待分析日志的故障级别为未知级别。
12.根据权利要求9所述的日志的处理方法，其特征在于，所述确定所述待分析日志的词袋与所述映射文件中的参考日志的词袋的相似度，具体包括：
按照所述待分析日志的词袋、所述参考日志的词袋和所述相似度的约束关系，计算所述相似度；其中，所述约束关系为：所述相似度=同时出现在所述待分析日志的词袋和所述参考日志的词袋的单词数量/（所述待分析日志的词袋的单词数量+所述参考日志的单词数量-同时出现在所述待分析日志的词袋和所述参考日志的词袋的单词数量）。
13.一种服务器，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至12中任一项所述的日志的处理方法。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的日志的处理方法。
CN201910211921.5A 2019-03-20 2019-03-20 一种日志的处理方法、服务器及存储介质 Active CN109992475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910211921.5A CN109992475B (zh) 2019-03-20 2019-03-20 一种日志的处理方法、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910211921.5A CN109992475B (zh) 2019-03-20 2019-03-20 一种日志的处理方法、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN109992475A CN109992475A (zh) 2019-07-09
CN109992475B true CN109992475B (zh) 2023-09-01

Family

ID=67130658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910211921.5A Active CN109992475B (zh) 2019-03-20 2019-03-20 一种日志的处理方法、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN109992475B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522349B (zh) * 2024-01-04 2024-03-29 山东保医通信息科技有限公司 一种多源数据业务的自动化处理方法、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009043172A (ja) * 2007-08-10 2009-02-26 Toshiba Corp 情報提供サーバ及び情報提供方法
JP2013171471A (ja) * 2012-02-21 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> 監視情報分析装置及び方法
WO2015014158A1 (zh) * 2013-07-29 2015-02-05 百度在线网络技术（北京）有限公司 更新输入法系统的方法、设备、计算机存储介质和设备
CN104461842A (zh) * 2013-09-23 2015-03-25 伊姆西公司 基于日志相似性来处理故障的方法和装置
CN105468677A (zh) * 2015-11-13 2016-04-06 国家计算机网络与信息安全管理中心 一种基于图结构的日志聚类方法
CN107479994A (zh) * 2016-06-07 2017-12-15 阿里巴巴集团控股有限公司 一种基于分布式软件系统的日志文件处理方法、装置
CN108897674A (zh) * 2018-07-12 2018-11-27 郑州云海信息技术有限公司 一种日志分析方法与装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000567B2 (ja) * 2012-02-23 2016-09-28 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、及びプログラム
US9892166B2 (en) * 2014-10-09 2018-02-13 Ca, Inc. Partitioning log records based on term frequency and type for selective skipping during full-text searching
US10210168B2 (en) * 2015-02-23 2019-02-19 International Business Machines Corporation Managing data in storage according to a log structure
US10318405B2 (en) * 2016-08-24 2019-06-11 International Business Machines Corporation Applying consistent log levels to application log messages

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009043172A (ja) * 2007-08-10 2009-02-26 Toshiba Corp 情報提供サーバ及び情報提供方法
JP2013171471A (ja) * 2012-02-21 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> 監視情報分析装置及び方法
WO2015014158A1 (zh) * 2013-07-29 2015-02-05 百度在线网络技术（北京）有限公司 更新输入法系统的方法、设备、计算机存储介质和设备
CN104461842A (zh) * 2013-09-23 2015-03-25 伊姆西公司 基于日志相似性来处理故障的方法和装置
CN105468677A (zh) * 2015-11-13 2016-04-06 国家计算机网络与信息安全管理中心 一种基于图结构的日志聚类方法
CN107479994A (zh) * 2016-06-07 2017-12-15 阿里巴巴集团控股有限公司 一种基于分布式软件系统的日志文件处理方法、装置
CN108897674A (zh) * 2018-07-12 2018-11-27 郑州云海信息技术有限公司 一种日志分析方法与装置

Also Published As

Publication number Publication date
CN109992475A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
US11429614B2 (en) Systems and methods for data quality monitoring
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
US7650356B2 (en) Generating an optimized restore plan
CN109992476B (zh) 一种日志的分析方法、服务器及存储介质
CN108664359B (zh) 一种数据库恢复方法、装置、设备及存储介质
US10853157B2 (en) Compact binary event log generation
CN103761173A (zh) 一种基于日志的计算机系统故障诊断方法及装置
CN110008129B (zh) 一种存储定时快照的可靠性测试方法、装置及设备
US7398511B2 (en) System and method for providing a health model for software
US20070220481A1 (en) Limited source code regeneration based on model modification
US20060004839A1 (en) Method and system for data processing with data replication for the same
CN109240854B (zh) 对误操作引起的更改进行数据恢复的方法及系统
WO2020119143A1 (zh) 一种数据库删除记录的恢复方法及系统
US20190114246A1 (en) Method for replicating production behaviours in a development environment
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
CN109992475B (zh) 一种日志的处理方法、服务器及存储介质
US11586582B2 (en) Data ingestion system
US10936395B1 (en) Smart log parser for backup software to ease troubleshooting
JPH11224186A (ja) ソフトウェア解析装置及びソフトウェア解析方法
CN112131090B (zh) 业务系统性能监控方法及装置、设备及介质
CN115329391B (zh) 一种文本数据库的防护方法、装置、设备及介质
CN112612648B (zh) 一种SQL Server数据库恢复方法、终端设备及存储介质
CN110795287B (zh) 数据恢复方法、系统、电子设备及计算机存储介质
CN116340052A (zh) 一种数据库即时回滚方法及系统
CN111858247A (zh) 一种输出存储流程日志的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant