CN117785823A - 日志处理方法、控制装置及计算机存储介质 - Google Patents

Abstract

本申请涉及日志处理方法、控制装置及计算机存储介质，所述方法包括：获取多个异常日志文件，其中至少部分所述异常日志文件的文件名称包括基于日志信息压缩成的标识符；基于预设条件对所述异常日志文件进行去重操作，得到去重后的异常日志文件和数据集表，其中所述数据集表中包括去重操作中的统计数据；基于数据集表以及预设规则将去重后的异常日志文件发送至指定的后端进行处理，其中指定的后端是基于预设规则而指定。在实施本申请的技术方案中，提供了一个高效、自动化的日志去重机制。这种方法显著提高了日志处理的速度和准确性，减少了因重复或高度相似的日志造成的资源浪费。

Description

日志处理方法、控制装置及计算机存储介质

技术领域

本申请涉及日志处理领域，具体提供一种日志处理方法、控制装置及计算机存储介质。

背景技术

在现有的日志管理系统中，处理海量的异常日志是一大挑战。由于应用系统和设备的复杂性，异常日志产生的频率和数量都在持续增长。其中的问题在于，很多日志实际上是重复的或与旧的日志有很高的相似性，但因为文件名的差异性，它们被当作新的异常进行处理。

传统的日志处理系统往往通过人工或简单的算法对这些日志文件名进行对比和分类，这不仅效率低下，而且易出错。

相应地，本领域需要一种新的日志处理方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决现有技术中的日志处理复杂不能自动化的问题。

在第一方面，本申请提供一种日志处理方法，所述方法包括获取多个异常日志文件，其中至少部分所述异常日志文件的文件名称包括基于日志信息压缩成的标识符；基于预设条件对所述异常日志文件进行去重操作，得到去重后的异常日志文件和数据集表，其中所述数据集表中包括去重操作中的统计数据；基于数据集表以及预设规则将去重后的异常日志文件发送至指定的后端进行处理，其中指定的后端是基于预设规则而指定。

在上述的一个技术方案中，“基于预设条件对所述异常日志文件进行去重操作，得到去重后的异常日志文件”，包括：判断所述异常日志文件的是否为非文本型异常日志文件；若所述异常日志文件为非文本型异常日志文件时，对非文本型异常日志文件进行解析，得到特征值，其中所述特征值为所述非文本型异常日志文件中特征问题集合的映射；基于所述特征值对获取到的非文本型异常日志文件进行去重操作。

在上述的一个技术方案中，“对非文本型异常日志文件的文件名进行解析，得到特征值”，包括：判断所述非文本型异常日志文件的文件名是否能被直接解析成为日志信息；若所述非文本型异常日志文件的文件名能被直接解析成为日志信息时，对非文本型异常日志文件的文件名进行解析，得到非文本型异常日志文件的日志信息，其中所述日志信息包括：模块信息；基于所述日志信息中的模块信息，得到所述与非文本型异常日志文件所对应的解析器；基于所述解析器对对应的非文本型异常日志文件进行解析，得到特征值。

在上述的一个技术方案中，所述方法还包括：若所述非文本型异常日志文件的文件名不能被直接解析成为日志信息时，基于非文本型异常日志文件的日志类型获取处理所述非文本型异常日志文件的职责链，其中职责链中包括对应所述非文本型异常日志文件的日志类型设置的至少两种解析器；将所述非文本型异常日志文件输入至职责链中得到每种解析器给出的匹配度；使用所述至少两种解析器中匹配度高的解析器对对应的非文本型异常日志文件进行解析，得到特征值。

在上述的一个技术方案中，“基于数据集表以及预设规则将去重后的异常日志文件发送至指定的后端进行处理”，包括：获取模块信息表，其中所述模块信息表中有模块信息与后端的对应关系；基于所述数据集表以及模块信息表将去重后的所述异常日志文件发送至指定的后端进行处理。

在上述的一个技术方案中，“基于所述日志信息中的模块信息，得到所述与非文本型异常日志文件所对应的解析器”，包括：获取模块与解析器的映射表；基于所述模块与解析器的映射表和日志信息中的模块信息，得到所述与非文本型异常日志文件所对应的解析器。

在上述的一个技术方案中，所述日志信息还包括事件信息以及时间戳。

在上述的一个技术方案中，所述方法还包括：若所述异常日志文件为文本型异常日志文件时，基于自定义条件筛选指定的文本型异常日志文件集合进行去重操作。

在第二方面，本申请提供一种日志处理装置，所述装置包括日志收集模块：获取多个异常日志文件，其中至少部分所述异常日志文件的文件名称包括基于日志信息压缩成的唯一标识符；日志去重模块：选择性的对所述异常日志文件的文件名进行解析去重操作；日志处理模块：基于去重操作以及预设规则将去重后的所述异常日志文件发送至指定的后端进行处理。

在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条计算机程序，所述计算机程序适于由所述处理器加载并运行以执行上述日志处理方法的技术方案中任一项技术方案所述的日志处理方法。

在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条计算机程序，所述计算机程序适于由处理器加载并运行以执行上述日志处理方法的技术方案中任一项技术方案所述的日志处理方法。

本申请上述一个或多个技术方案，至少具有如下一种或多种

有益效果：

在实施本申请的技术方案中，提供了一个高效、自动化的日志去重机制。这种方法显著提高了日志处理的速度和准确性，减少了因重复或高度相似的日志造成的资源浪费。综合来看，本方案不仅优化了日志管理流程，更确保了后端资源的高效利用，从而极大提升了效率。

附图说明

参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是根据本申请的一个实施例的日志处理方法的主要步骤流程示意图；

图2是根据本申请的一个实施例的日志处理方法的次要步骤流程示意图；

图3是根据本申请的一个实施例的日志处理方法的流程框架图；

图4是根据本申请的一个实施例的日志处理方法的示意图。

具体实施方式

下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如计算机程序，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储计算机程序的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

参阅附图1，图1是根据本申请的一个实施例的日志处理方法的主要步骤流程示意图。如图1所示，本申请实施例中的日志处理方法主要包括下列步骤S10-步骤S30，细节如图3、图4所示。

步骤S10：获取多个异常日志文件。

在本实施例中，异常日志文件是终端所发送的异常日志文件。

一个实施方式中，这些异常日志文件记录了系统或应用在运行过程中遇到的问题，通常包含错误代码、错误消息、时间戳以及其他相关的上下文信息。考虑到大规模的系统和应用环境，这种异常可能产生大量的日志文件，需要进行高效的管理和处理。

在本实施方式中，异常日志文件的收集来自多个源。这些源可以是物理服务器、虚拟机、容器或其他运行应用和服务的计算实体。在本实施方式中，异常日志文件的收集来自多个终端手机。

优选的，一个实施方式中，在终端上部署了相应的日志代理或收集器，从而确保了日志的完整性和一致性。这些代理或收集器负责实时监听和捕获异常事件，然后将相关日志文件传输到指定的存储或处理中心。

在本实施方式中，至少部分异常日志文件的文件名称将包括基于日志信息压缩成的标识符，同时也是唯一标识符。在本实施方式中，通过对日志内容应用一种哈希函数，如MD5或SHA256生成得到唯一标识符。这不仅确保了日志文件名称的唯一性，而且提供了一种快速比对和检索的方法。

在本实施方式中，通过对日志文件名应用哈希函数生成的唯一标识符，可以方便地管理和处理这些文件。前期数据协议约定为整个过程提供了清晰的指导和标准。

步骤S20：基于预设条件对异常日志文件进行去重操作，得到去重后的异常日志文件和数据集表。

在本实施例中，异常日志文件包括文本型异常日志文件和非文本型异常日志文件。

一个实施方式中，针对异常日志文件是文本型异常日志文件还是和非文本型异常日志文件会产生不同的处理方法。具体的，步骤S202-S203为处理异常日志文件是非文本型异常日志文件所使用的方法，S204为处理异常日志文件是文本型异常日志文件所使用的方法，如图2所示，具体如下：

步骤S201：判断异常日志文件是否为非文本型异常日志文件。

在本实施例中，通过获取异常日志文件的日志类型进行进一步判断。

一个实施方式中，对于异常日志文件，首先获取其日志类型或扩展名。以UNIX-like系统为例，使用命令工具如file来获取日志类型。在其他平台上，可以使用相应的系统API或库函数。

在本实施方式中，文本型异常日志文件通常是ASCII或UTF-8编码，容易被人类阅读。它们有.txt、.log或其他常见的文本文件扩展名。

非文本型异常日志文件可能采用二进制、专有或特定于应用程序的格式，如.bin或.dat。这些文件通常不适合直接查看。

在本实施方式中，日志类型即为日志文件的扩展名，如某异常日志文件的文件扩展名为.txt时，说明其日志类型为txt文件，即文本型异常日志文件。

步骤S202：若异常日志文件为非文本型异常日志文件时，对非文本型异常日志文件进行解析，得到特征值。

在本实施例中，特征值为非文本型异常日志文件中特征问题集合的唯一映射。

一个实施方式中，此处详述一下特征值。在对非文本型异常日志文件进行解析时，一个关键的目标是从中提取出所有的核心或关键内容。这些核心内容可能是针对特定的异常模式或问题模式的详细描述、相关的参数、时间戳等。由于日志文件可能包含大量的信息，其中很多信息在后续的分析中可能是不必要的，因此需要一种方法来对这些关键内容进行摘要。

在本实施方式中，使用摘要技术，例如SHA-256哈希函数，对所有的关键内容进行处理。这样，无论关键内容的长度或复杂性如何，都可以得到一个固定长度的输出，即特征值。这个特征值具有唯一性。在本实施方式中，这里提到的关键内容是某一些关键词。

SHA-256是一种安全摘要算法，它可以将任何长度的输入转化为一个256位的唯一输出。这样，后续的分析或匹配过程就变得简单和高效。例如，如果在不同时间或地点收集的两个异常日志文件的关键内容相同，那么它们的SHA-256特征值也会相同。因此，只需要比较这些特征值，而无需对整个日志文件内容进行比较。

解析非文本型异常日志文件以得到特征值是一种将复杂的、结构化的数据转化为简单、唯一标识的过程，为后续的处理提供了坚实的基础。

在本实施方式中，通过步骤S202-1～S202-7来得到特征值，具体如下。

步骤S202-1：判断非文本型异常日志文件的文件名是否能被直接解析成为日志信息。

在本实施例中，非文本型异常日志文件的文件名可能是基于日志信息压缩成的标识符，也可能不是基于日志信息压缩成的标识符，在本实施例中此标识符为唯一标识符。

一个实施方式中，采用唯一标识符命名(后续称为按照标准命名)仅通过文件名就可以获取到关于日志内容的快速概览，从而快速得到特征值。然而，在实际的运行过程中，可能会出现一些特殊情况，导致日志文件并没有按照默认的命名标准生成。此时则需要额外处理这一部分的非文本型异常日志文件。

步骤S202-2：若非文本型异常日志文件的文件名能被直接解析成为日志信息时，对非文本型异常日志文件的文件名进行解析，得到非文本型异常日志文件的日志信息。

在本实施例中，日志信息包括：模块信息、事件信息以及时间戳。

一个实施方式中，首先对非文本型异常日志文件的文件名进行哈希值的提取。这通常涉及到识别文件名中的哈希编码部分，以及确定所使用的哈希算法类型(例如SHA-256、MD5等)。一旦识别出哈希值和相关的算法，接下来就是对该哈希值进行反向查找。

反向查找，是指根据已知的哈希值来查找其原始输入数据。优选的，一个实施方式中，系统一个存在哈希映射表，其中记录了原始日志信息与其对应哈希值之间的对应关系。利用这种映射表，可以从唯一标识符中提取出日志信息。

在本实施方式中，详述一下日志信息所包括的模块信息、事件信息以及时间戳。

模块信息通常指的是产生日志条目的特定系统部分或组件名称。在复杂的系统中，有许多模块或组件可以并行运行，而每个模块可能负责不同的功能或任务。通过标识产生日志的具体模块，可以快速定位可能出现问题或异常的系统部分。这有助于开发和维护人员快速找到错误的根源，并进行相应的修复或优化。

事件信息描述了在特定时间点系统内部发生的具体活动或状态更改。这可能包括错误、警告、操作状态、用户活动或其他任何重要的事件。事件信息为开发者和系统管理员提供了关于系统行为的详细洞察。它可以帮助识别潜在的问题、跟踪用户行为或确保系统按预期运行。

时间戳是日志条目记录时的具体日期和时间。它通常精确到秒或毫秒，确保每个日志条目都有一个唯一的时间标识。时间戳允许系统管理员或开发人员按时间顺序查看事件，从而重现系统的行为和状态更改。此外，它还可以帮助确定事件之间的关系、频率或持续时间，为性能调优或故障排查提供关键信息。

步骤S202-3：基于日志信息中的模块信息，得到与非文本型异常日志文件所对应的解析器。

在本实施例中，系统中预设有模块与解析器的映射表。

一个实施方式中，一旦从日志信息中提取出模块信息，就可以通过预先定义的映射或目录来找到与该模块对应的特定解析器。例如，数据库模块的日志可能需要一个与数据库查询和操作相关的解析器，而网络模块的日志可能需要一个专注于网络请求和响应的解析器。这种方法确保了每个日志都使用了最适合其内容和格式的解析器，从而确保准确性和效率。

步骤S202-4：基于解析器对对应的非文本型异常日志文件进行解析，得到特征值。

一个实施方式中，一旦确定了正确的解析器，接下来的任务是使用它对异常日志文件进行解析。解析过程的主要目标是从非结构化或半结构化的日志数据中提取有意义的信息，并将其转换为一种可以进一步处理或分析的格式。

解析器的工作通常分为两个阶段：首先，它会按照预定义的规则或模式识别日志中的关键元素，如事件、错误代码、参数等；接着，它会将这些元素整理成一个结构化的输出，这通常是一个数据对象或字典。

最后，特征值是从解析的结构化数据中提取出来的。这通常涉及对关键数据点进行散列或其他形式的转换，从而产生一个唯一的标识符。这个特征值可以用于后续的比较、模式识别或其他分析，帮助诊断异常的原因或确定其性质。

步骤S202-5：若非文本型异常日志文件的文件名不能被直接解析成为日志信息时，基于非文本型异常日志文件的日志类型获取处理非文本型异常日志文件的职责链。

在本实施例中，职责链中包括对应非文本型异常日志文件的日志类型设置的至少两种解析器。

一个实施方式中，当非文本型异常日志文件的文件名不能被直接解析成为日志信息时，说明此时系统表中并没有直接的解析器与之对应。此时则需要基于日志类型获取处理非文本型异常日志文件的职责链。也就是说，此时允许多个对象来处理请求，或更具体地说，在这种情境中，它允许多个解析器尝试解析非文本型异常日志文件。

根据非文本型异常日志文件的日志类型，系统可以确定一个与该日志类型关联的职责链。这条职责链是一个包含多个解析器的有序列表，其中每个解析器都为该特定日志类型设计。例如，如果日志类型是关于数据库操作的，职责链可能会包括SQL解析器、事务解析器和连接解析器等。

每个解析器在职责链中都有一个特定的优先级。优先级通常基于解析器的专业性或特定的适用场景。更具体地说，一些解析器可能更适合处理特定子类型的日志，而其他解析器可能具有更广泛的应用范围。通过为职责链中的每个解析器分配一个优先级，系统可以确保首先尝试使用最可能成功解析日志文件的解析器。

总的来说，本步骤确保了即使非文本型异常日志文件的文件名不提供明确的解析线索，系统也能够有效地选择并应用最佳解析器，从而确保日志的正确解析。

步骤S202-6：将非文本型异常日志文件输入至职责链中得到每种解析器给出的匹配度。

在本实施例中，匹配度反映的是非文本型异常日志文件和解析器之间的匹配程度。

一个实施方式中，当非文本型异常日志文件被输入到职责链中时，每个解析器在链中都会尝试对其进行解析。为了确定哪个解析器最适合处理该日志文件，每个解析器都会输出一个匹配度分数。匹配度是一个介于0到1之间的值，其中数值越高代表匹配的效果越好。该分数是基于解析器对日志文件内容的识别度、日志结构的对应度以及可能的特定模式匹配等因素来确定的。

匹配度不仅仅是一个简单的二进制输出(匹配/不匹配)，而是提供了一个更加细致的度量，使系统能够更好地判断哪个解析器能够更有效地处理特定的日志文件。例如，如果一个解析器能够识别日志文件中80％的结构和内容，则其匹配度可能是0.8。

步骤S202-7：使用至少两种解析器中匹配度高的解析器对对应的非文本型异常日志文件进行解析，得到特征值。

在本实施例中，在所有解析器都尝试解析日志文件并给出其匹配度之后，系统会选择其中匹配度最高的解析器进行进一步的解析操作。

例如职责链中有三个解析器：解析器A、解析器B和解析器C。解析器A尝试解析该异常日志文件后，给出的匹配度为40％。解析器B尝试解析该异常日志文件后，给出的匹配度为90％。解析器C尝试解析该异常日志文件后，给出的匹配度为50％。

在此例中，解析器B的匹配度最高，因此系统会选择解析器B对该非文本型异常日志文件进行进一步的解析操作，从而得到所需的特征值。

在本实施方式中，这确保了日志文件被最合适的工具处理，从而增加了解析准确性的可能性。

步骤S203：基于特征值对获取到的非文本型异常日志文件进行去重操作。

一个实施方式中，在处理大量的非文本型异常日志文件时，可能会遇到重复的日志条目，这些重复可能是由于多个源产生的相同错误，或者是由于日志生成和收集过程中的重复上传。无论何种原因，重复的日志条目都可能对后续的分析造成干扰，并浪费存储和处理资源。

为了解决这个问题，在本实施方式中，采用了基于特征值的去重方法。具体而言，每个非文本型异常日志文件都会被转化为一个特征值，这个特征值是该日志的唯一标识确保了相同关键内容的日志内容会得到相同的特征值，而不同的关键内容的日志内容则会得到不同的特征值。

在去重操作中，系统会创建一个特征值数据库或仓库。当新的非文本型异常日志文件到达时，系统首先会计算其特征值，然后检查这个特征值是否已经存在于数据库中。如果已存在，说明这是一个重复的日志条目，系统将其标记并删除；如果不存在，则将该特征值添加到数据库中，并继续处理原始日志文件。

此外，在本实施方式中，通过布隆过滤器来进行去重操作。

总之，基于特征值的去重策略为处理大量非文本型异常日志文件提供了一种高效、准确的方法。这种方法不仅减少了数据的冗余，而且节省了存储和计算资源，从而提高了整个日志处理流程的效率。

需要说明的是，如若收集到的异常日志文件为压缩格式，如.zip格式，则需在完成去重操作后，解压异常日志文件

步骤S204：若异常日志文件为文本型异常日志文件时，基于自定义条件筛选指定的文本型异常日志文件集合进行去重操作。

一个实施方式中，当处理到一个文本型异常日志文件时，首先需要确定其内容的特点和结构。与非文本型日志不同，文本型日志通常更易于读取和解析。

在去重操作中，首先，可以考虑实施基于模式匹配的策略。这可以使用正则表达式或其他文本匹配技术来识别和抽取日志条目中的关键信息。例如，如果一个日志条目包含特定的错误代码或描述，那么可以使用这些信息作为筛选条件。

另外，为了确保筛选的准确性，可以使用一种分词技术将日志条目分解成独立的词或短语。然后，可以利用词频统计和其他文本分析技术，对这些词或短语进行排序和权重分配。这样，即使在大量相似但不完全相同的日志条目中，也可以有效地识别出重复的模式。

在确定了可能的重复日志条目后，可以将它们与现有的日志库进行对比。如果找到匹配项，则表明这些条目已经存在，可以安全地从处理队列中移除。

步骤S30：基于数据集表以及预设规则将去重后的异常日志文件发送至指定的后端进行处理。

一个实施方式中，响应于去重操作，生成了两张数据集表。这两张表分别为：

日志解析表：统计并存储去重后的异常日志文件中的日志信息以及进一步的深层信息，其中深层信息包含如异常日志文件对应的机型、系统版本等。其中深层信息是对日志解析得到。

去重表：统计了重复的日志和特征值之间的对应关系。

通过这两个表，以及系统中有的模块信息表，可以建立一个完整的信息映射，使得任何特定的日志条目都能被追溯到其原始的文件以及相关的业务模块和负责人。其中模块信息表中有模块信息与后端的对应关系。在本实施方式中，模块信息表即为预设规则。

在本实施方式中，通过根据日志解析表、去重表以及模块信息表中的信息，可以自动化地为每一个特定的异常日志生成一个详细的JIRA单。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本申请的保护范围之内。

进一步，本申请还提供了一种日志处理装置。

其中装置包括：日志收集模块：获取多个异常日志文件，其中至少部分异常日志文件的文件名称包括基于日志信息压缩成的唯一标识符；

日志去重模块：选择性的对异常日志文件的文件名进行解析去重操作；

日志处理模块：基于去重操作以及预设规则将去重后的异常日志文件发送至指定的后端进行处理一个实施方式中，具体实现功能的描述可以参见步骤S10-S30所述。

上述日志处理装置以用于执行图1所示的日志处理方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，日志处理装置的具体工作过程及有关说明，可以参考日志处理方法的实施例所描述的内容，此处不再赘述。

本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序，所述计算机程序可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本申请还提供了一种控制装置。在根据本申请的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的日志处理方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的日志处理方法的程序。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。

进一步，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的日志处理方法的程序，该程序可以由处理器加载并运行以实现上述日志处理方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本申请的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理，因此，拆分或合并之后的技术方案都将落入本申请的保护范围内。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

申请人处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。

申请人非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (10)

1.一种日志处理方法，其特征在于，包括：

获取多个异常日志文件，其中至少部分所述异常日志文件的文件名称包括基于日志信息压缩成的标识符；

基于预设条件对所述异常日志文件进行去重操作，得到去重后的异常日志文件和数据集表，其中所述数据集表中包括去重操作中的统计数据；

基于数据集表以及预设规则将去重后的异常日志文件发送至指定的后端进行处理，其中指定的后端是基于预设规则而指定。

2.根据权利要求1所述的日志处理方法，其特征在于，

“基于预设条件对所述异常日志文件进行去重操作，得到去重后的异常日志文件”，包括：

判断所述异常日志文件的是否为非文本型异常日志文件；

若所述异常日志文件为非文本型异常日志文件时，对非文本型异常日志文件进行解析，得到特征值，其中所述特征值为所述非文本型异常日志文件中特征问题集合的映射；

基于所述特征值对获取到的非文本型异常日志文件进行去重操作。

3.根据权利要求2所述的日志处理方法，其特征在于，“对非文本型异常日志文件的文件名进行解析，得到特征值”，包括：

判断所述非文本型异常日志文件的文件名是否能被直接解析成为日志信息；

若所述非文本型异常日志文件的文件名能被直接解析成为日志信息时，对非文本型异常日志文件的文件名进行解析，得到非文本型异常日志文件的日志信息，其中所述日志信息包括：模块信息；

基于所述日志信息中的模块信息，得到所述与非文本型异常日志文件所对应的解析器；

基于所述解析器对对应的非文本型异常日志文件进行解析，得到特征值。

4.根据权利要求3所述的日志处理方法，其特征在于，所述方法还包括：

若所述非文本型异常日志文件的文件名不能被直接解析成为日志信息时，基于非文本型异常日志文件的日志类型获取处理所述非文本型异常日志文件的职责链，其中职责链中包括对应所述非文本型异常日志文件的日志类型设置的至少两种解析器；

将所述非文本型异常日志文件输入至职责链中得到每种解析器给出的匹配度；

使用所述至少两种解析器中匹配度高的解析器对对应的非文本型异常日志文件进行解析，得到特征值。

5.根据权利要求3所述的日志处理方法，其特征在于，“基于数据集表以及预设规则将去重后的异常日志文件发送至指定的后端进行处理”，包括：

获取模块信息表，其中所述模块信息表中有模块信息与后端的对应关系；

基于所述数据集表以及模块信息表将去重后的所述异常日志文件发送至指定的后端进行处理。

6.根据权利要求3所述的日志处理方法，其特征在于，“基于所述日志信息中的模块信息，得到所述与非文本型异常日志文件所对应的解析器”，包括：

获取模块与解析器的映射表；

基于所述模块与解析器的映射表和日志信息中的模块信息，得到所述与非文本型异常日志文件所对应的解析器。

7.根据权利要求3所述的日志处理方法，其特征在于，所述日志信息还包括事件信息以及时间戳。

8.根据权利要求2所述的日志处理方法，其特征在于，所述方法还包括：若所述异常日志文件为文本型异常日志文件时，基于自定义条件筛选指定的文本型异常日志文件集合进行去重操作。

9.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条计算机程序，其特征在于，所述计算机程序适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的日志处理方法。

10.一种计算机可读存储介质，其中存储有多条计算机程序，其特征在于，所述计算机程序适于由处理器加载并运行以执行权利要求1至8中任一项所述的日志处理方法。