CN113934701A - 日志处理方法、装置、服务器和存储介质 - Google Patents
日志处理方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN113934701A CN113934701A CN202111186059.0A CN202111186059A CN113934701A CN 113934701 A CN113934701 A CN 113934701A CN 202111186059 A CN202111186059 A CN 202111186059A CN 113934701 A CN113934701 A CN 113934701A
- Authority
- CN
- China
- Prior art keywords
- log
- processed
- logs
- type
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种日志处理方法、装置、服务器和存储介质。该方法通过获取应用程序的待处理日志，并将待处理日志中的子日志的数量确定为待处理日志的长度，之后根据待处理日志的长度和至少两个子日志，在预设的类型模型树中确定待处理日志的第一日志类型，最后将待处理日志的标识存储至用于存储第一日志类型的叶子节点下的存储空间中。该技术方案中，通过对日志按照预设的类型模型树结构进行分类，在后续进行定位相关日志时，日志的定位效率提高、且定位相对容易。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种日志处理方法、装置、服务器和存储介质。
背景技术
技术人员针对某一程序产品进行业务开发、故障处理等工作时，常常会查看该程序产品的日志，以排查可能存在的问题，进而优化该程序产品，为用户提供更好的服务。
在现有技术中，技术人员会通过直接在计算机上依次查看程序产品在运行过程中记录的原始日志，或者在elk等日志采集工具上通过关键字检索的形式对原始日志进行搜索，以定位出可能存在的问题的日志，并根据存在问题的日志，确定出程序产品具体存在故障的位置等。
然而，在实际应用中，直接检索原始日志只有在日志出现明显异常的时候才容易发现问题，且由于原始日志文件的数量众多，现有技术的定位方式效率较低、且定位难度较大。
发明内容
本申请实施例提供一种日志处理方法、装置、服务器和存储介质，用以解决大量日志文件在现有的定位方式下定位效率较低、且定位难度较大的问题。
第一方面，本申请实施例提供一种日志处理方法，包括：
获取应用程序的待处理日志，所述待处理日志为正则优化后的日志；
对所述待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为所述待处理日志的长度，所述切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分；
根据所述待处理日志的长度和所述至少两个子日志，在预设的类型模型树中确定所述待处理日志的第一日志类型，所述类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，所述前缀树包含N层的子节点，所述N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于所述子日志的数量，所述叶子节点为所述前缀树的最后一层的子节点；
将所述待处理日志的标识存储至用于存储所述第一日志类型的叶子节点下的存储空间中。
在第一方面一种可能的设计中，所述方法还包括：
将所述至少两个子日志中的每个子日志的前缀部分，按照切分顺序进行组合，得到所述待处理日志的目标常量；
根据所述待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定所述待处理日志的第二日志类型；
将所述待处理日志的标识存储至所述第二日志类型对应的存储空间中。
在该种可能的设计中，所述方法还包括：
建立所述待处理日志的所述第一日志类型与所述第二日志类型之间的映射关系。
在第一方面另一种可能的设计中，所述根据所述待处理日志的长度和所述至少两个子日志，在预设的类型模型树中确定所述待处理日志的第一日志类型，包括：
根据所述待处理日志的长度，在所述多个内部节点中确定所述待处理日志对应的目标内部节点；
根据所述多个子日志，在所述目标内部节点下的多个前缀树中确定所述待处理日志对应的目标叶子节点；
根据所述目标叶子节点对应的日志类型，确定所述待处理日志的第一日志类型。
在该种可能的设计中，在所述根据所述待处理日志的长度，在所述多个内部节点中确定所述待处理日志对应的目标内部节点之后，所述方法还包括：
根据所述多个子日志，在所述目标内部节点下的多个前缀树中未确定出所述待处理日志对应的目标叶子节点，则在所述目标内部节点下建立新的叶子节点，作为所述目标叶子节点；
建立以所述目标内部节点对应的所述新的叶子节点下的新的日志类型；
将所述新的叶子节点下的新的日志类型确定为所述待处理日志的第一日志类型。
可选的，在所述根据所述目标叶子节点对应的日志类型，确定所述待处理日志的所述第一日志类型之后，所述方法还包括：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，得到至少一个相似值大于预设相似度阈值的日志模板；
将所述待处理日志的标识存储至所述至少一个相似值中最大的相似值对应的日志模板下。
可选的，所述方法还包括：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，没有得到至少一个相似值大于预设相似度阈值的日志模板；
根据所述目标叶子节点对应的前缀树中各层子节点和所述目标内部节点，生成新的日志模板；
将所述待处理日志的标识存储至所述新的日志模板下。
在第一方面再一种可能的设计中，所述根据所述待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定所述待处理日志的第二日志类型，包括：
根据所述待处理日志的目标常量和所述预设常量进行相关性计算，得到相关值；
若所述相关值大于预设相关性阈值，则将所述预设常量对应的日志类型确定为所述待处理日志的第二日志类型。
在该种可能的设计中，在所述根据所述待处理日志的目标常量和所述预设常量进行相关性计算，得到相关值之后，所述方法还包括：
若所述相关值小于或等于所述预设相关性阈值，将所述待处理日志对应的目标常量作为新的预设常量；
根据所述新的预设常量，建立新的日志类型，将所述新的日志类型确定为所述待处理日志的第二日志类型。
第二方面，本申请实施例提供了一种日志处理装置，包括：获取模块、确定模块、存储模块；
所述获取模块，用于获取应用程序的待处理日志，所述待处理日志为正则优化后的日志；
所述确定模块，用于对所述待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为所述待处理日志的长度，所述切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分，并根据所述待处理日志的长度和所述至少两个子日志，在预设的类型模型树中确定所述待处理日志的第一日志类型，所述类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，所述前缀树包含N层的子节点，所述N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于所述子日志的数量，所述叶子节点为所述前缀树的最后一层的子节点；
所述存储模块，用于将所述待处理日志的标识存储至用于存储所述第一日志类型的叶子节点下的存储空间中。
在第二方面一种可能的设计中，所述确定模块，还用于：
将所述至少两个子日志中的每个子日志的前缀部分，按照切分顺序进行组合，得到所述待处理日志的目标常量；
根据所述待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定所述待处理日志的第二日志类型；
将所述待处理日志的标识存储至所述第二日志类型对应的存储空间中。
在该种可能的设计中，所述确定模块，还用于：
建立所述待处理日志的所述第一日志类型与所述第二日志类型之间的映射关系。
在第二方面另一种可能的设计中，所述确定模块，根据所述待处理日志的长度和所述至少两个子日志，在预设的类型模型树中确定所述待处理日志的第一日志类型，具体用于：
根据所述待处理日志的长度，在所述多个内部节点中确定所述待处理日志对应的目标内部节点；
根据所述多个子日志，在所述目标内部节点下的多个前缀树中确定所述待处理日志对应的目标叶子节点；
根据所述目标叶子节点对应的日志类型，确定所述待处理日志的第一日志类型。
在该种可能的设计中，所述确定模块，还用于：
根据所述多个子日志，在所述目标内部节点下的多个前缀树中未确定出所述待处理日志对应的目标叶子节点，则在所述目标内部节点下建立新的叶子节点，作为所述目标叶子节点；
建立以所述目标内部节点对应的所述新的叶子节点下的新的日志类型；
将所述新的叶子节点下的新的日志类型确定为所述待处理日志的第一日志类型。
可选的，所述确定模块，还用于：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，得到至少一个相似值大于预设相似度阈值的日志模板；
将所述待处理日志的标识存储至所述至少一个相似值中最大的相似值对应的日志模板下。
可选的，所述确定模块，还用于：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，没有得到至少一个相似值大于预设相似度阈值的日志模板；
根据所述目标叶子节点对应的前缀树中各层子节点和所述目标内部节点，生成新的日志模板；
将所述待处理日志的标识存储至所述新的日志模板下。
在第二方面再一种可能的设计中，所述确定模块，根据所述待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定所述待处理日志的第二日志类型，具体用于：
根据所述待处理日志的目标常量和所述预设常量进行相关性计算，得到相关值；
若所述相关值大于预设相关性阈值，则将所述预设常量对应的日志类型确定为所述待处理日志的第二日志类型。
在该种可能的设计中，所述确定模块，还具体用于：
若所述相关值小于或等于所述预设相关性阈值，将所述待处理日志对应的目标常量作为新的预设常量；
根据所述新的预设常量，建立新的日志类型，将所述新的日志类型确定为所述待处理日志的第二日志类型。
第三方面，本申请实施例提供一种服务器，包括：处理器、存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述计算机执行指令，使得所述服务器执行如上述第一方面及各种可能的设计中所述的日志处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的日志处理方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的日志处理方法。
本申请实施例提供的日志处理方法、装置、服务器和存储介质。该方法通过获取应用程序的待处理日志，该待处理日志为正则优化后的日志，并对待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为待处理日志的长度，切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分，之后根据待处理日志的长度和至少两个子日志，在预设的类型模型树中确定待处理日志的第一日志类型，类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，前缀树包含N层的子节点，N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于子日志的数量，叶子节点为前缀树的最后一层的子节点，最后将待处理日志的标识存储至用于存储第一日志类型的叶子节点下的存储空间中。该技术方案中，通过对日志按照预设的类型模型树结构进行分类，在后续进行定位相关日志时，日志的定位效率提高、且定位相对容易。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的日志处理方法的应用场景示意图；
图2为本申请实施例提供的日志处理方法实施例一的流程示意图；
图3为本申请实施例提供的类型模型树的结构示意图；
图4为本申请实施例提供的日志处理方法实施例二的流程示意图；
图5为本申请实施例提供的预设常量的结构示意图；
图6为本申请实施例提供的日志处理方法实施例三的流程示意图；
图7为本申请实施例提供的日志处理方法实施例四的流程示意图；
图8为本申请实施例提供的日志处理装置的结构示意图；
图9为本申请实施例提供的服务器的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本申请的实施例之前，首先对本申请的背景技术进行解释说明：
技术人员针对某一程序产品进行业务开发、故障处理等工作时，常常会查看该程序产品的日志，以排查可能存在的问题，进而优化该程序产品，为用户提供更好的服务。技术人员会通过直接在计算机上依次查看程序产品在运行过程中记录的原始日志，或者在elk等日志采集工具上通过关键字检索的形式对原始日志进行搜索，以定位出可能存在的问题的日志，并根据存在问题的日志，确定出程序产品具体存在故障的位置等。
处理问题后，技术人员通常会对某些关键日志进行报警配置。一般情况下，都是根据日志关键字配置过滤规则进行报警。但随着游戏业务的不断迭代，异常不断增多，日志类型也越来越多，每次都针对特定关键字配置报警规则，工作非常繁琐，并且容易遗漏。
目前并没有一套针对日志分类的成熟解决方案，某些厂商会提供elk让用户进行query条件编写，保存query规则，从而达到对特定类型日志的分类效果。也有一些应用使用深度学习、机器学习等方式进行聚类，以实现日志分类。
手动配置规则需要编写者有较多的elk、正则表达式等经验，并且调试、维护起来困难，需要人为对比搜索结果，以确保搜索条件正确性。每次新增日志类型的时候，需要重新添加、修改query规则，维护流程繁琐。而深度学习等算法，性能远不能落地到游戏业务百万级的每秒查询率(Query Per Second，QPS)的场景中。
在上述现有技术存在的问题基础上，图1为本申请实施例提供的日志处理方法的应用场景示意图，用以解决上述技术问题。如图1所示，该应用场景示意图包括：服务器11和终端设备12。
在一种可能的设计中，终端设备12上安装有应用程序，用户通过点击应用程序的图标，应用程序启动，随着应用程序的运行，不断产生日志，服务器11获取日志，并根据本申请实施例提供的方法，将不同的日志进行分类，对具有相似模板的日志标识分在同一个类别中，在后续技术人员需要查询日志可能存在的问题时，查找相应的类别，并在该类别中获取日志标识，进一步地查询到日志标识对应的日志详细信息，以实现整个日志产生到日志定位的过程。
本申请针对上述技术问题，发明人的技术构思过程如下：在现有技术中，原始日志的量级巨大，采用直接查找原始日志的办法很难快速定位问题，如果将日志进行分类，生成模板，而模板的规则可以基于日志的前n个token形成，在后续新产生的日志也可以通过模板进行快速分类，在之后进行日志的定位时，便可以快速找到不同类别的模板，并在该模板下找到相应的日志标识，基于此，大大提高对日志进行维护、定位及查找时的效率。
下面以图1所示的应用场景示意图，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的日志处理方法实施例一的流程示意图。如图2所示，该日志处理方法可以包括如下步骤：
步骤21、获取应用程序的待处理日志。
其中，待处理日志为正则优化后的日志。
在本方案中，网络设备、系统及服务程序等在运作时，会产生一个名称为log的事件记录，每一行事件记录对应的日志都记载着日期、时间、使用者及动作等相关操作的描述。
进一步地，在后续需要对网络设备、系统或服务程序进行问题排查时，便需要从大量日志中查找出可能存在问题的日志，并对该日志中记载的信息进行浏览、或筛查等操作，以克服网络设备、系统或服务程序可能存在的问题。
在本步骤中，在实际生产环境中，每条日志的前几个token具有模板的特征，在对待处理日志进行按照模板分类时，首先对待处理日志进行正则优化。
可选的，可以将待处理日志中的部分词(如数字等)替换为“*”，应理解，正则优化的方法仅作示例，仅为了得到容易被检索、替换符合某个模式(规则)的文本，因此，本申请实施例不限定其他类似正则优化的预处理方法。
步骤22、对待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为待处理日志的长度。
其中，切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分。
在本步骤中，基于正则优化后的日志，对该待处理日志进行切分，可以得到多个长度的子日志，即多个token。
具体的，以空格切分为例，对一条待处理日志进行空格切分处理，得到4个token，也即4个子日志，对应的待处理日志的长度为4。
作为一种示例：日志1：Receive from node 4,block blk_3587src:/10.251.42.84:57069dest:/10.251.42.84:50010。
作为另一种示例：日志2：Receive from node 5,block blk_7174src:/10.251.42.90:57069dest:/10.251.42.90:50010。
则，日志1和日志2在空格切分后便可以得到Receive from node*，block*，src:*，dest:*，即长度为4的待处理日志，即4个子日志。
步骤23、根据待处理日志的长度和至少两个子日志，在预设的类型模型树中确定待处理日志的第一日志类型。
其中，类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，该前缀树包含N层的子节点，N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于所述待处理日志的子日志的数量，该叶子节点为前缀树的最后一层的子节点。
在本步骤中，针对某一个叶子节点到该叶子节点所在的内部节点的路径上，子节点的数量是小于或等于子日志的数量的，也即从内部节点下的第一个子节点开始，其对应第一个子日志的前缀，直到第N个子节点对应的第N个子日志的前缀，待处理日志的子日志的数量可能是大于子节点的数量，也即本申请实施例可以动态调整前缀树包含的子节点层数。
可选的，图3为本申请实施例提供的类型模型树的结构示意图。如图3所示，该结构示意图包括：根节点31、多个内部节点32(每个内部节点分别表示不同待处理日志的长度，例如，长度Length：4、长度：5……长度：10)、每个内部节点下包含不同的token(子节点33)例如，长度4下包含第一层的子节点：发送send、接收receive，长度5下包含第一层的子节点：开始starting、……长度10下包含：*。
进一步地，在发送send、接收receive等第一层的子节点下又可以存在各自的第二层的子节点，按树状发散，直到最后一层的子节点(叶子节点)。
对于每个叶子节点，其下分别存储不同日志类型的日志标识和对应的日志模板。例如，在根节点31下，长度4，receive下存储有列表日志组，在某个列表日志中便可以存储日志模板、以及符合该日志模板的日志的标识。
例如，日志模板：Receive from node*；该日志模板的日志标识：1,23,25,46,345，……(该日志的缓存地址)。
可选的，根据待处理日志的长度和至少两个子日志(存在的token)，在类型模型树中匹配，首先根据待处理日志的长度在多个内部节点中确定目标内部节点，其次根据至少两个子日志在多个前缀树的各层子节点下确定待处理日志对应的目标叶子节点，在该目标叶子节点下，确定具体的日志模板，也即确定日志模板对应的第一日志类型。
步骤24、将待处理日志的标识存储至用于存储第一日志类型的叶子节点下的存储空间中。
在本步骤中，上述找出了与待处理日志向匹配的第一日志类型，将待处理日志的标识存储至该第一日志类型的叶子节点下的存储空间中。
在后续查询或定位相关日志时，可以针对不同的第一日志类型，用户进行查阅，大致判断出需要查询的日志分类，进而在该分类下找到的日志标识，在一种可能的实现中，点击该日志标识相关的按键，便可以获取该日志。
本申请实施例提供的日志处理方法，通过获取应用程序的待处理日志，该待处理日志为正则优化后的日志，并对待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为待处理日志的长度，切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分，之后根据待处理日志的长度和至少两个子日志，在预设的类型模型树中确定待处理日志的第一日志类型，类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，前缀树包含N层的子节点，N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于子日志的数量，叶子节点为所述前缀树的最后一层的子节点，最后将待处理日志的标识存储至用于存储第一日志类型的叶子节点下的存储空间中。该技术方案中，通过对日志按照预设的类型模型树结构进行分类，在后续进行定位相关日志时，日志的定位效率提高、且定位相对容易。
在上述实施例的基础上，图4为本申请实施例提供的日志处理方法实施例二的流程示意图。如图4所示，该日志处理方法还可以包括如下步骤：
步骤41、将至少两个子日志中的每个子日志的前缀部分，按照切分顺序进行组合，得到待处理日志的目标常量。
在本步骤中，为了进一步完善由于相同类型日志在上述划分时，存在不同长度的日志划分为不同类型日志的情况，此步骤利用待处理日志的子日志的前缀部分作为待处理日志的目标常量，从而进行待处理日志的分类。
可选的，将待处理日志进行空格切分得到的至少两个子日志中的每个子日志的前缀部分，组合为目标常量。
在一种可能的实现中，日志2：Receive from node 5,block blk_7174src:/10.251.42.90:57069dest:/10.251.42.90:50010，则日志2的子日志的前缀部分组成的目标常量为Receive from node*，block*，src:*，dest:*，忽略上述方法对子日志数量的限定，直接依次对每个子日志的前缀进行匹配。
步骤42、根据待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定待处理日志的第二日志类型。
在本步骤中，预设常量为日志模板对应的常量，记载有对应的日志类型的特征，包括日志的多个子日志的前缀部分，根据待处理日志的目标常量和预设常量进行匹配，以得到第二日志类型。
可选的，图5为本申请实施例提供的预设常量的结构示意图。如图5所示，该结构示意图包括：A1、B1、C1、D1和E1。
其中，以日志模板分为3个子日志前缀组成的预设常量、且待处理日志为该预设常量对应的日志类型为例，日志模板的每个子日志的前缀部分为A1(第一前缀)、B1(第二前缀)和C1(第三前缀)，该日志模板的长度为3，之后根据目标常量中的各个字段，依次匹配到待处理日志中的每个前缀部分A2、B2和C2。
此外，D1和E1为其他模板日志的第一前缀和第二前缀。
当A1、B1、C1和A2、B2和C2分别一一匹配时，则确定待处理日志的日志类型为预设常量对应的日志类型，记第二日志类型，该步骤由下述实施例详细解释。
步骤43、将待处理日志的标识存储至第二日志类型对应的存储空间中。
在本步骤中，上述找出了与待处理日志向匹配的第二日志类型，将待处理日志的标识存储至该第二日志类型对应的存储空间中。
在后续查询或定位相关日志时，可以针对不同的第二日志类型，用户进行查阅，大致判断出需要查询的日志分类，进而在该分类下找到的日志标识，在一种可能的实现中，点击该日志标识相关的按键，便可以获取该日志。
步骤44、建立待处理日志的第一日志类型与第二日志类型之间的映射关系。
在本步骤中，第一日志类型的分类中包含有针对待处理日志的子日志数量的分类，即不同数量子日志组成的待处理日志有不同的内部节点，而第二日志类型的分类直接是对子日志进行区分，其区分细度粗于第一日志类型的分类。
可选的，按第一日志类型对应的待处理日志的标识到二日志类型对应的待处理日志的标识的格式进行对应，存储至数据库的TemplateMap中缓存，可以方便后续搜索模板。
本申请实施例提供的日志处理方法，通过将至少两个子日志中的每个子日志的前缀部分，按照切分顺序进行组合，得到待处理日志的目标常量，之后根据待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定待处理日志的第二日志类型，再将待处理日志的标识存储至第二日志类型对应的存储空间中，最后建立待处理日志的第一日志类型与第二日志类型之间的映射关系。该技术方案通过预设常量与日志类型之间的对应关系，实现了对待处理日志的分类，在后续进行定位相关日志时，日志的定位效率更高。
在上述实施例的基础上，图6为本申请实施例提供的日志处理方法实施例三的流程示意图。如图6所示，上述步骤23可以包括如下步骤：
步骤61、根据待处理日志的长度，在多个内部节点中确定待处理日志对应的目标内部节点。
在本实施例中，结合图3，对相关步骤进行说明，待处理日志的长度为该待处理日志的子日志的数量，在类型模型树中，根据子日志的数量，匹配对应的内部节点。
在一种可能的实现中，若待处理日志的长度为4，则确定类型模型树中“长度：4”的内部节点为目标内部节点；若待处理日志的长度为10，则确定类型模型树中“长度：10”的内部节点为目标内部节点。
在另一种可能的实现中，若根据待处理日志的长度，在多个内部节点中未确定出待处理日志对应的目标内部节点，则添加一个新的长度的内部节点作为目标内部节点。
在该种可能的实现中，类型模型树具有可以不断添加新的内部节点的功能，例如，初始可以记载有长度为4-10的7个内部节点，但一些日志的子日志的数量多于10、或者少于4，便可以适当的增加内部节点、或减少内部节点。
步骤62、根据多个子日志，在目标内部节点下的多个前缀树中确定待处理日志对应的目标叶子节点。
在本步骤中，目标内部节点下的多个前缀树，可以包括第一层的子节点、第二层的子节点、第三层的子节点……第N层的子节点(叶子节点)。
例如，在某个内部节点“长度：4”下，该内部节点下包含：第一层的子节点(send、receive……)，第一层的子节点receive中包含第二层的子节点(from、to……)，第二层的子节点from中包含第三层的子节点(H、I、J)，第三层的子节点H中包含第四层的子节点(K、L)，依次呈现树状发散结构。
可选的，根据待处理日志中的多个子日志按照顺序，与目标内部节点下的多个前缀树中的每层子节点进行匹配，确定出最后一层的子节点(目标叶子节点)，此处的目标叶子节点下对应存储有日志模板和日志标识。
在本步骤中，还存在另一种可能：若根据多个子日志，在目标内部节点下的多个前缀树中未确定出待处理日志对应的目标叶子节点，也即，在类型模型树中的目标内部节点下，待处理日志中的各个子日志并没有对应找到子节点，则执行下述操作：
第1步、在目标内部节点下建立新的叶子节点，作为目标叶子节点。
可选的，待处理日志中第一子日志未匹配到目标内部节点中的第一层的子节点，则在该目标内部节点下建立新的第一层的子节点，作为目标第一叶子节点，同理，在该新的第一层的子节点下建立新的第二层的子节点，以待处理日志中第二子日志作为新的第二层的子节点，依次执行，直到建立到第N层的子节点作为目标叶子节点。
此外，若待处理日志中第M(M小于或等于N)子日志未匹配到前缀树中的第M层的子节点，则将待处理日志中第M子日志作为新的第M层的子节点，直到建立到第N层的子节点作为目标叶子节点，并将第M层的子节点之前的路径和M层到N层之间的子节点作为待处理日志的路径。
第2步、建立以目标内部节点对应的新的叶子节点下的新的日志类型。
可选的，新的日志类型对应的日志模板为目标内部节点为起始节点，新的叶子节点为结束节点，该待处理日志通过的路径对应的子日志的前缀作为新的模板，即日志类型。
第3步、将新的叶子节点下的新的日志类型确定为待处理日志的第一日志类型。
可选的，新的日志类型为待处理日志的第一日志类型，相应的，新的日志类型下对应有新的日志类型对应的日志模板，并存储该新的日志类型对应的日志模板。
此外，若子日志token为变量，则会存在点数量无限扩增，则可以引入一个maxChild参数，用于限制每个内部节点的最大叶子节点的数量，当达到maxChild时，会在该叶子节点下生成一个<*>节点，后续日志没有匹配到其他叶子节点时，自动匹配<*>叶子节点。
步骤63、根据目标叶子节点对应的日志类型，确定待处理日志的第一日志类型。
在本步骤中，叶子节点缓存有各自第一日志类型对应的日志模板，该待处理日志按照类型模型树的路径，通过上述匹配不断达到目标叶子节点对应的日志类型，从而确定出目标叶子节点对应的日志类型为待处理日志的第一日志类型。
可选的，日志处理方法还可以包括如下操作：
第1步、根据多个子日志与目标叶子节点下存储的日志模板进行相似度计算，得到至少一个相似值大于预设相似度阈值的日志模板。
可选的，在目标叶子节点中所有模板相似度为simSeq，返回simSeq大于预设相似度阈值st且simSeq值最大的模板。
具体公式为：
其中，seq1为待处理日志，seq2为目标叶子节点下各个模板，i为待处理日志中第i个子日志，n为待处理日志的子日志的数量。
在此之前，若目标叶子节点下未存储日志模板，将待处理日志的目标内部节点到目标叶子节点的路径上的子日志的前缀作为新的日志模板。
第2步、将待处理日志的标识存储至至少一个相似值中最大的相似值对应的日志模板下。
可选的，可以通过遍历的方式比较大于预设相似度阈值的日志模板对应的相似值，确定出相似度于预设相似度阈值中较大的一个，作为最大的相似值。
或者，该过程还有下述可能的步骤：
第1步、根据多个子日志与目标叶子节点下存储的日志模板进行相似度计算，没有得到至少一个相似值大于预设相似度阈值的日志模板。
可选的，相似度匹配之后，匹配结果为相似值均小于或等于预设相似度阈值。
第2步、根据目标叶子节点对应的前缀树中各层子节点和目标内部节点，生成新的日志模板。
可选的，将待处理日志在向目标叶子节点的路径上的各个子日志的前缀作为新的日志模板的组成。
第3步、将待处理日志的标识存储至新的日志模板下。
本申请实施例提供的日志处理方法，通过根据待处理日志的长度，在多个内部节点中确定待处理日志对应的目标内部节点，再根据多个子日志，在目标内部节点下的多个前缀树中确定待处理日志对应的目标叶子节点，之后根据目标叶子节点对应的日志类型，确定待处理日志的第一日志类型，该技术方案通过多个前缀树中确定待处理日志对应的目标叶子节点，为实现待处理日志按照第一日志类型分类提供了基础。
在上述实施例的基础上，图7为本申请实施例提供的日志处理方法实施例四的流程示意图。如图7所示，上述步骤42可以包括如下步骤：
步骤71、根据待处理日志的目标常量和预设常量进行相关性计算，得到相关值。
在本步骤中，待处理日志的目标常量和预设常量进行比较，即比较待处理日志的各个子日志的前缀部分与预设常量进行相似度计算，得到相似值。
可选的，计算各个预设常量与目标常量的相似度。
在一种可能的实现中，通过匹配待处理日志的各个子日志的前缀部分与预设常量中的各个前缀进行比对，则相同的前缀的个数与预设常量中的总前缀的个数比值为相关值。
此外，为了减少计算量，将待匹配的目标常量和预设常量取交集去重之后，剩下的子日志的数量要大于目标常量的长度的一半。
该步骤的部分代码如下：
步骤72、若相关值大于预设相关性阈值，则将预设常量对应的日志类型确定为待处理日志的第二日志类型。
在本步骤中，遍历所有模板对应的预设常量，则相关性大于预设相关性阈值，则认为匹配成功，即认为该预设常量对应的日志类型为待处理日志的第二日志类型。
步骤73、若相关值小于或等于预设相关性阈值，将待处理日志对应的目标常量作为新的预设常量，并根据新的预设常量，建立新的日志类型，将新的日志类型确定为待处理日志的第二日志类型。
在本步骤中，若相关值小于或等于预设相关性阈值，则说明预设常量与目标常量相似度较低，可以重新确定一个新的预设常量。
可选的，将该待处理日志对应的目标常量作为新的预设常量，在该新的预设常量中，确定新的日志类型，并将该新的日志类型作为待处理日志的第二日志类型，并在该新的日志类型下添加该待处理日志的标识。
本申请实施例提供的日志处理方法，通过根据待处理日志的目标常量和预设常量进行相关性计算，得到相关值，当相关值大于预设相关性阈值，则将预设常量对应的日志类型确定为待处理日志的第二日志类型，当相关值小于或等于预设相关性阈值，将待处理日志对应的目标常量作为新的预设常量，并根据新的预设常量，建立新的日志类型，将新的日志类型确定为待处理日志的第二日志类型。该技术方案通过预设相关性阈值，实现了待处理日志的第二日志类型。
在上述方法实施例的基础上，图8为本申请实施例提供的日志处理装置的结构示意图。如图8所示，该日志处理装置包括：获取模块81、确定模块82、存储模块83；
获取模块81，用于获取应用程序的待处理日志，待处理日志为正则优化后的日志；
确定模块82，用于对待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为待处理日志的长度，切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分，并根据待处理日志的长度和至少两个子日志，在预设的类型模型树中确定待处理日志的第一日志类型，类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，前缀树包含N层的子节点，N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于子日志的数量，叶子节点为前缀树的最后一层的子节点；
存储模块83，用于将待处理日志的标识存储至用于存储第一日志类型的叶子节点下的存储空间中。
在本申请实施例一种可能的设计中，确定模块82，还用于：
将至少两个子日志中的每个子日志的前缀部分，按照切分顺序进行组合，得到待处理日志的目标常量；
根据待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定待处理日志的第二日志类型；
将待处理日志的标识存储至第二日志类型对应的存储空间中。
在该种可能的设计中，确定模块82，还用于：
建立待处理日志的第一日志类型与第二日志类型之间的映射关系。
在本申请实施例另一种可能的设计中，确定模块82，根据待处理日志的长度和至少两个子日志，在预设的类型模型树中确定待处理日志的第一日志类型，具体用于：
根据待处理日志的长度，在多个内部节点中确定待处理日志对应的目标内部节点；
根据多个子日志，在目标内部节点下的多个前缀树中确定待处理日志对应的目标叶子节点；
根据目标叶子节点对应的日志类型，确定待处理日志的第一日志类型。
在该种可能的设计中，确定模块82，还用于：
根据多个子日志，在目标内部节点下的多个前缀树中未确定出待处理日志对应的目标叶子节点，则在目标内部节点下建立新的叶子节点，作为目标叶子节点；
建立以目标内部节点对应的新的叶子节点下的新的日志类型；
将新的叶子节点下的新的日志类型确定为待处理日志的第一日志类型。
可选的，确定模块82，还用于：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，得到至少一个相似值大于预设相似度阈值的日志模板；
将所述待处理日志的标识存储至所述至少一个相似值中最大的相似值对应的日志模板下。
可选的，所述确定模块82，还用于：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，没有得到至少一个相似值大于预设相似度阈值的日志模板；
根据所述目标叶子节点对应的前缀树中各层子节点和所述目标内部节点，生成新的日志模板；
将所述待处理日志的标识存储至所述新的日志模板下。
在本申请实施例再一种可能的设计中，确定模块82，根据待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定待处理日志的第二日志类型，具体用于：
根据待处理日志的目标常量和预设常量进行相关性计算，得到相关值；
若相关值大于预设相关性阈值，则将预设常量对应的日志类型确定为待处理日志的第二日志类型。
在该种可能的设计中，确定模块82，还具体用于：
若相关值小于或等于预设相关性阈值，将待处理日志对应的目标常量作为新的预设常量；
根据新的预设常量，建立新的日志类型，将新的日志类型确定为待处理日志的第二日志类型。
本申请实施例提供的日志处理装置，可用于执行上述实施例中日志处理方法对应的技术方案，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图9为本申请实施例提供的服务器的结构示意图。如图9所示，该服务器可以包括：处理器90、存储器91及存储在该存储器91上并可在处理器90上运行的计算机程序指令。
处理器90执行存储器91存储的计算机执行指令，使得处理器90执行上述实施例中的方案。处理器90可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，该服务器还可以包括：收发器92。
存储器91和收发器92通过系统总线与处理器90连接并完成相互间的通信，存储器91用于存储计算机程序指令。
收发器92用于和其他设备进行通信，该收发器92构成通信接口。
可选的，在硬件实现上，上述图8所示实施例中的获取模块81对应于本实施例中的收发器92。
系统总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例提供的服务器，可用于执行上述实施例中日志处理方法对应的技术方案，其实现原理和技术效果类似，在此不再赘述。
本申请实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中日志处理方法的技术方案。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机设备上运行时，使得计算机设备执行上述实施例中日志处理方法的技术方案。
本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于执行上述实施例中日志处理方法的技术方案。
上述的计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机设备能够存取的任何可用介质。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (13)
1.一种日志处理方法，其特征在于，包括：
获取应用程序的待处理日志，所述待处理日志为正则优化后的日志；
对所述待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为所述待处理日志的长度，所述切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分；
根据所述待处理日志的长度和所述至少两个子日志，在预设的类型模型树中确定所述待处理日志的第一日志类型，所述类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，所述前缀树包含N层的子节点，所述N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于所述子日志的数量，所述叶子节点为所述前缀树的最后一层的子节点；
将所述待处理日志的标识存储至用于存储所述第一日志类型的叶子节点下的存储空间中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述至少两个子日志中的每个子日志的前缀部分，按照切分顺序进行组合，得到所述待处理日志的目标常量；
根据所述待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定所述待处理日志的第二日志类型；
将所述待处理日志的标识存储至所述第二日志类型对应的存储空间中。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
建立所述待处理日志的所述第一日志类型与所述第二日志类型之间的映射关系。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述待处理日志的长度和所述至少两个子日志，在预设的类型模型树中确定所述待处理日志的第一日志类型，包括：
根据所述待处理日志的长度，在所述多个内部节点中确定所述待处理日志对应的目标内部节点；
根据所述多个子日志，在所述目标内部节点下的多个前缀树中确定所述待处理日志对应的目标叶子节点；
根据所述目标叶子节点对应的日志类型，确定所述待处理日志的第一日志类型。
5.根据权利要求4所述的方法，其特征在于，在所述根据所述待处理日志的长度，在所述多个内部节点中确定所述待处理日志对应的目标内部节点之后，所述方法还包括：
根据所述多个子日志，在所述目标内部节点下的多个前缀树中未确定出所述待处理日志对应的目标叶子节点，则在所述目标内部节点下建立新的叶子节点，作为所述目标叶子节点；
建立以所述目标内部节点对应的所述新的叶子节点下的新的日志类型；
将所述新的叶子节点下的新的日志类型确定为所述待处理日志的第一日志类型。
6.根据权利要求4所述的方法，其特征在于，在所述根据所述目标叶子节点对应的日志类型，确定所述待处理日志的所述第一日志类型之后，所述方法还包括：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，得到至少一个相似值大于预设相似度阈值的日志模板；
将所述待处理日志的标识存储至所述至少一个相似值中最大的相似值对应的日志模板下。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述多个子日志与所述目标叶子节点下存储的日志模板进行相似度计算，没有得到至少一个相似值大于预设相似度阈值的日志模板；
根据所述目标叶子节点对应的前缀树中各层子节点和所述目标内部节点，生成新的日志模板；
将所述待处理日志的标识存储至所述新的日志模板下。
8.根据权利要求2或3所述的方法，其特征在于，所述根据所述待处理日志的目标常量，和预设常量与日志类型之间的对应关系，确定所述待处理日志的第二日志类型，包括：
根据所述待处理日志的目标常量和所述预设常量进行相关性计算，得到相关值；
若所述相关值大于预设相关性阈值，则将所述预设常量对应的日志类型确定为所述待处理日志的第二日志类型。
9.根据权利要求8所述的方法，其特征在于，在所述根据所述待处理日志的目标常量和所述预设常量进行相关性计算，得到相关值之后，所述方法还包括：
若所述相关值小于或等于所述预设相关性阈值，将所述待处理日志对应的目标常量作为新的预设常量；
根据所述新的预设常量，建立新的日志类型，将所述新的日志类型确定为所述待处理日志的第二日志类型。
10.一种日志处理装置，其特征在于，包括：获取模块、确定模块、存储模块；
所述获取模块，用于获取应用程序的待处理日志，所述待处理日志为正则优化后的日志；
所述确定模块，用于对所述待处理日志进行切分处理得到至少两个子日志，并将子日志的数量确定为所述待处理日志的长度，所述切分处理包括如下任一种：按空格切分、按逗号切分、按换行符切分，并根据所述待处理日志的长度和所述至少两个子日志，在预设的类型模型树中确定所述待处理日志的第一日志类型，所述类型模型树的根节点下包括多个内部节点，每个内部节点下包括多个前缀树，每个内部节点下可存储的待处理日志的长度不同，每个内部节点下的多个前缀树下的叶子节点存储不同日志类型的日志标识和对应的日志模板，所述前缀树包含N层的子节点，所述N层的子节点分别依次对应从第一个子日志开始到第N个子日志的前缀，N的取值小于或等于所述子日志的数量，所述叶子节点为所述前缀树的最后一层的子节点；
所述存储模块，用于将所述待处理日志的标识存储至用于存储所述第一日志类型的叶子节点下的存储空间中。
11.一种服务器，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，其特征在于，所述处理器执行所述计算机程序指令时实现如上述权利要求1至9任一项所述的日志处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1至9任一项所述的日志处理方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现如上述权利要求1至9任一项所述的日志处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111186059.0A CN113934701A (zh) | 2021-10-12 | 2021-10-12 | 日志处理方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111186059.0A CN113934701A (zh) | 2021-10-12 | 2021-10-12 | 日志处理方法、装置、服务器和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113934701A true CN113934701A (zh) | 2022-01-14 |
Family
ID=79278354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111186059.0A Pending CN113934701A (zh) | 2021-10-12 | 2021-10-12 | 日志处理方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113934701A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2975820A1 (en) * | 2014-07-18 | 2016-01-20 | Palo Alto Research Center, Incorporated | Reputation-based strategy for forwarding and responding to interests over a content centric network |
| US20180046697A1 (en) * | 2016-08-15 | 2018-02-15 | Collective Sense, Llc | Systems and methods for trie-based automated discovery of patterns in computer logs |
| CN109033189A (zh) * | 2018-06-27 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 链路结构日志的压缩方法、装置、服务器及可读存储介质 |
| CN109408640A (zh) * | 2018-11-02 | 2019-03-01 | 东软集团股份有限公司 | 日志分类方法、装置及存储介质 |
| CN110162512A (zh) * | 2019-05-05 | 2019-08-23 | 中国银行股份有限公司 | 一种日志检索方法、装置及存储介质 |
| CN112182043A (zh) * | 2020-10-27 | 2021-01-05 | 网易（杭州）网络有限公司 | 日志数据查询方法、装置、设备及存储介质 |
| CN112256658A (zh) * | 2020-10-16 | 2021-01-22 | 海尔优家智能科技（北京）有限公司 | 日志记录的分流方法及装置、存储介质、电子装置 |
| CN112559465A (zh) * | 2020-12-23 | 2021-03-26 | 清华大学 | 一种日志压缩方法、装置、电子设备及存储介质 |
-
2021
- 2021-10-12 CN CN202111186059.0A patent/CN113934701A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2975820A1 (en) * | 2014-07-18 | 2016-01-20 | Palo Alto Research Center, Incorporated | Reputation-based strategy for forwarding and responding to interests over a content centric network |
| US20180046697A1 (en) * | 2016-08-15 | 2018-02-15 | Collective Sense, Llc | Systems and methods for trie-based automated discovery of patterns in computer logs |
| CN109033189A (zh) * | 2018-06-27 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 链路结构日志的压缩方法、装置、服务器及可读存储介质 |
| CN109408640A (zh) * | 2018-11-02 | 2019-03-01 | 东软集团股份有限公司 | 日志分类方法、装置及存储介质 |
| CN110162512A (zh) * | 2019-05-05 | 2019-08-23 | 中国银行股份有限公司 | 一种日志检索方法、装置及存储介质 |
| CN112256658A (zh) * | 2020-10-16 | 2021-01-22 | 海尔优家智能科技（北京）有限公司 | 日志记录的分流方法及装置、存储介质、电子装置 |
| CN112182043A (zh) * | 2020-10-27 | 2021-01-05 | 网易（杭州）网络有限公司 | 日志数据查询方法、装置、设备及存储介质 |
| CN112559465A (zh) * | 2020-12-23 | 2021-03-26 | 清华大学 | 一种日志压缩方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘必雄;许榕生;: "基于XML的综合日志预处理模型设计", 莆田学院学报, no. 05, 25 October 2007 (2007-10-25), pages 65 - 69 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765275B (zh) | 搜索方法、装置、计算机设备和存储介质 | |
| CN111324784B (zh) | 一种字符串处理方法及装置 | |
| EP3846048A1 (en) | Online log analysis method, system, and electronic terminal device thereof | |
| US10452691B2 (en) | Method and apparatus for generating search results using inverted index | |
| JP5575902B2 (ja) | クエリのセマンティックパターンに基づく情報検索 | |
| US20200218535A1 (en) | Source code similarity detection using digital fingerprints | |
| US20060074902A1 (en) | Forming intent-based clusters and employing same by search | |
| CN112541074A (zh) | 日志解析方法、装置、服务器和存储介质 | |
| CN106844640A (zh) | 一种网页数据分析处理方法 | |
| CN105335402A (zh) | 基于静态Cache的搜索方法、索引数据生成方法以及装置 | |
| CN116132263B (zh) | 告警解决方案推荐方法、装置、电子设备及存储介质 | |
| CN110659297A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN112559526A (zh) | 数据表导出方法、装置、计算机设备及存储介质 | |
| CN112434027A (zh) | 多维度数据的索引方法、装置、计算机设备和存储介质 | |
| CA3022434A1 (en) | Automatic search dictionary and user interfaces | |
| KR102189127B1 (ko) | 행위 기반 룰 처리 장치 및 그 처리 방법 | |
| CN116032741A (zh) | 一种设备识别方法、装置、电子设备和计算机存储介质 | |
| US20230273924A1 (en) | Trimming blackhole clusters | |
| CN112732655A (zh) | 针对无格式日志的在线解析方法及系统 | |
| CN113934701A (zh) | 日志处理方法、装置、服务器和存储介质 | |
| CN112765118B (zh) | 一种日志查询方法、装置、设备及存储介质 | |
| CN111460088A (zh) | 相似文本的检索方法、装置和系统 | |
| Church et al. | Efficient service substitutions with behavior-based similarity metrics | |
| US20220188339A1 (en) | Network environment synchronization apparatus and method | |
| CN117272123B (zh) | 一种基于大模型的敏感数据处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |