CN117971605B - 基于数据库异常的自动化日志信息收集方法及系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，公开了一种基于数据库异常的自动化日志信息收集方法及系统，用于提高基于数据库异常的自动化日志信息收集的效率及准确率。方法包括：对多个目标异常日志进行日志类型分析，得到异常日志类型集；基于异常时间戳集确定每个目标异常日志的日志信息采集时间区间；基于每个目标异常日志的日志信息采集时间区间，分别对每个目标异常日志进行日志信息采集，得到日志信息集，并对日志信息集进行去重处理，得到去重日志信息集；根据去重日志信息集生成异常处理策略，并将异常处理策略传输至预置的经验文档数据库。

Description

基于数据库异常的自动化日志信息收集方法及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于数据库异常的自动化日志信息收集方法及系统。

背景技术

数据库作为存储和管理关键业务数据的核心组件，其异常情况可能对整个系统的运行稳定性和数据完整性产生严重影响。

随着数据规模的不断扩大以及数据库系统的复杂性增加，传统手动监测和诊断方法变得越来越耗时且容易遗漏异常。自动化日志信息收集技术变得尤为关键，以应对庞大的数据量和复杂的数据库架构。传统手动方式可能无法在异常发生后迅速定位问题，因此需要一种能够实时收集、分析和响应数据库异常的自动化方法，以缩短故障恢复时间。

发明内容

有鉴于此，本发明实施例提供了一种基于数据库异常的自动化日志信息收集方法及系统，用于提高基于数据库异常的自动化日志信息收集的效率及准确率。

本发明提供了一种基于数据库异常的自动化日志信息收集方法，包括：启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字；当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集；根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志；对多个所述目标异常日志进行日志类型分析，得到异常日志类型集；基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间；基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集；根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。

在本发明中，所述启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字步骤，包括：对所述数据库集群进行节点分析，得到多个数据采集节点；对每个所述数据采集节点进行数据采集参数配置，得到每个所述数据采集节点的数据采集参数，其中数据采集参数包括：日志级别、日志格式以及收集频率；对所述数据库集群进行操作状态监控，得到操作状态数据；基于所述操作状态数据进行日志异常类型匹配，得到日志异常类型集；根据所述日志异常类型集匹配日志关键信息，并对所述日志关键信息进行日志处理关键词提取，得到日志处理关键词；基于所述日志处理关键词进行日志收集种类分析，得到日志收集种类。

在本发明中，所述当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集步骤，包括：当检测到所述数据库集群的异常日志关键字集时，对异常日志关键字集中每个异常日志关键字进行时间戳提取，得到多个异常时间戳；基于多个异常时间戳进行异常频率分析，得到异常频率数据；基于多个所述异常时间戳以及所述异常频率数据，对每个所述异常日志关键字进行异常编码分析，得到每个所述异常日志关键字对应的异常事件编码；将多个所述异常时间戳合并为所述异常编码集，同时，将每个所述异常日志关键字对应的异常事件编码合并为所述异常编码集。

在本发明中，所述根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志步骤，包括：对所述异常编码集以及所述异常时间戳集进行标准化处理，得到标准编码集以及标准时间戳集；对所述标准编码集进行索引构建，得到编码索引表；基于所述标准时间戳以及所述编码索引表创建日志查询语句；基于所述日志查询语句匹配目标异常日志，得到多个目标异常日志。

在本发明中，所述基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间步骤，包括：对所述异常时间戳中每个异常时间戳进行信息采集时间标定，得到每个所述异常时间戳对应的信息采集起始时间以及信息采集结束时间；根据每个所述异常时间戳的信息采集起始时间以及每个所述异常时间戳的信息采集结束时间生成每个所述异常时间戳的初始采集区间；对每个所述异常时间戳的初始采集区间进行有效区间拆分，得到每个所述异常时间戳对应的有效时间区间；基于每个所述异常时间戳对应的有效时间区间确定每个所述目标异常日志的日志信息采集时间区间。

在本发明中，所述基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集步骤，包括：基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集；对所述日志信息集进行标识符提取，得到多个日志标识符；对多个所述日志标识符进行重复标识扫描，得到重复标识数据；通过所述重复标识数据对所述日志信息集进行去重处理，得到去重日志信息集。

在本发明中，所述根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库步骤，包括：对所述去重日志信息集进行语义信息提取，得到语义信息特征；根据所述语义信息特征进行异常模式识别，得到日志异常模式；根据所述日志异常模式进行关联规则挖掘，得到关联规则数据；根据所述关联规则数据生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。

本发明还提供了一种基于数据库异常的自动化日志信息收集方法系统，包括：

启动模块，用于启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字；

提取模块，用于当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集；

匹配模块，用于根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志；

分析模块，用于对多个所述目标异常日志进行日志类型分析，得到异常日志类型集；

采集模块，用于基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间；

去重模块，用于基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集；

生成模块，用于根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。

本发明提供的技术方案中，通过对数据库集群进行节点分析和日志收集参数的精确配置，能够确保从每个数据采集节点中获取到最相关且最准确的日志信息。这一过程的个性化配置，包括日志级别、格式以及收集频率的设定，使得日志收集工作既全面又高效，减少了不必要的数据噪声，确保了后续分析的质量基础。其次，通过对操作状态数据进行日志异常类型匹配，以及进一步的日志关键信息提取和日志收集种类分析，提高了日志信息收集的针对性和有效性。这不仅大大缩减了处理和分析的数据量，而且通过识别出特定的异常模式和关键词，为精确定位问题和快速响应异常提供了可能。此外，通过对异常时间戳的精细分析，确定每个目标异常日志的信息采集时间区间，进一步提升了日志收集的准确性。通过确定有效的采集时间区间，能够捕获到与异常相关的完整上下文信息，从而为分析异常原因和确定解决方案提供了重要的线索。对日志信息集的去重处理以及后续的语义信息提取和异常模式识别，显著提高了数据处理的效率和异常分析的准确性。去重处理确保了数据集的精简和高质量，而语义信息提取和异常模式识别则为深入理解异常事件的本质提供了基础。最后，通过关联规则挖掘和异常处理策略的自动生成，不仅加快了对异常的响应速度，还提高了处理措施的有效性。通过将生成的策略文档化并传输至预置的经验文档数据库，为数据库管理员和开发者提供了一个宝贵的知识资源，有助于提升整个组织对数据库异常的处理能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于数据库异常的自动化日志信息收集方法的流程图。

图2为本发明实施例中取与异常日志关键字集对应的异常编码集以及异常时间戳集的流程图。

图3为本发明实施例中一种基于数据库异常的自动化日志信息收集方法系统的示意图。

附图标记：

301、启动模块；302、提取模块；303、匹配模块；304、分析模块；305、采集模块；306、去重模块；307、生成模块。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，图1是本发明实施例的一种基于数据库异常的自动化日志信息收集方法的流程图，如图1所示，包括以下步骤：

S101、启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据日志异常类型集匹配日志收集种类以及日志处理关键字；

S102、当检测到数据库集群的异常日志关键字集时，提取与异常日志关键字集对应的异常编码集以及异常时间戳集；

S103、根据异常编码集以及异常时间戳集匹配目标异常日志，得到多个目标异常日志；

S104、对多个目标异常日志进行日志类型分析，得到异常日志类型集；

S105、基于异常时间戳集确定每个目标异常日志的日志信息采集时间区间；

S106、基于每个目标异常日志的日志信息采集时间区间，分别对每个目标异常日志进行日志信息采集，得到日志信息集，并对日志信息集进行去重处理，得到去重日志信息集；

S107、根据去重日志信息集生成异常处理策略，并将异常处理策略传输至预置的经验文档数据库。

需要说明的是，首先，该过程启动于对数据库集群的日志信息收集服务的激活，这一步骤涉及到监控数据库集群以捕获日志输出，特别是那些含有预定义异常类型关键字的日志条目。这要求能够识别出各种异常类型，如超时、资源不足、权限错误等，并基于这些类型来匹配相应的日志收集种类以及处理所需的关键字。

当检测到含有异常日志关键字的日志条目时，会提取与这些关键字相对应的异常编码集以及异常发生的时间戳集。这一步是至关重要的，因为为后续分析提供了具体的线索，即异常的唯一标识符和发生时间。以超时异常为例，不仅会记录异常发生的具体时间，还会记录异常类型为“超时”的编码，以便与后续收集到的相关日志进行匹配。随后，根据异常编码和时间戳集来匹配目标异常日志，这涉及到对数据库或日志管理进行查询，以得到与特定异常编码和时间戳相匹配的日志条目。这一过程需要高效的数据查询技术以及优化的索引机制，以确保能够快速精确地定位到目标日志。进一步的，对这些目标异常日志进行类型分析，以确定异常的具体类别，如是否为错误、应用错误还是配置错误等。这一步不仅帮助进一步理解异常的性质，还为制定后续处理策略提供了依据。

确定每个目标异常日志的信息采集时间区间是基于异常发生的时间戳进行的，这意味着会以异常发生的时间为中心，向前后扩展一定的时间范围，以确保能够收集到足够的上下文信息。例如，如果一个数据库操作因为资源不足而失败，不仅会收集到该操作失败的日志，还会收集到该操作前后一段时间内的所有相关日志，以便全面了解异常发生的环境。

基于每个目标异常日志的信息采集时间区间，会分别对每个目标异常日志进行信息采集，以得到一个包含所有相关日志条目的日志信息集。随后，这个日志信息集会经过去重处理，以移除重复的日志条目，保留独一无二的信息，从而得到一个精简且高质量的去重日志信息集。最终，基于这个去重后的日志信息集，会生成相应的异常处理策略，这可能包括对异常的诊断、建议的修复步骤、预防措施等，并将这些策略以标准化的文档形式传输至预置的经验文档数据库中。

通过执行上述步骤，通过对数据库集群进行节点分析和日志收集参数的精确配置，能够确保从每个数据采集节点中获取到最相关且最准确的日志信息。这一过程的个性化配置，包括日志级别、格式以及收集频率的设定，使得日志收集工作既全面又高效，减少了不必要的数据噪声，确保了后续分析的质量基础。其次，通过对操作状态数据进行日志异常类型匹配，以及进一步的日志关键信息提取和日志收集种类分析，提高了日志信息收集的针对性和有效性。这不仅大大缩减了处理和分析的数据量，而且通过识别出特定的异常模式和关键词，为精确定位问题和快速响应异常提供了可能。此外，通过对异常时间戳的精细分析，确定每个目标异常日志的信息采集时间区间，进一步提升了日志收集的准确性。通过确定有效的采集时间区间，能够捕获到与异常相关的完整上下文信息，从而为分析异常原因和确定解决方案提供了重要的线索。对日志信息集的去重处理以及后续的语义信息提取和异常模式识别，显著提高了数据处理的效率和异常分析的准确性。去重处理确保了数据集的精简和高质量，而语义信息提取和异常模式识别则为深入理解异常事件的本质提供了基础。最后，通过关联规则挖掘和异常处理策略的自动生成，不仅加快了对异常的响应速度，还提高了处理措施的有效性。通过将生成的策略文档化并传输至预置的经验文档数据库，为数据库管理员和开发者提供了一个宝贵的知识资源，有助于提升整个组织对数据库异常的处理能力。

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）对数据库集群进行节点分析，得到多个数据采集节点；

（2）对每个数据采集节点进行数据采集参数配置，得到每个数据采集节点的数据采集参数，其中数据采集参数包括：日志级别、日志格式以及收集频率；

（3）对数据库集群进行操作状态监控，得到操作状态数据；

（4）基于操作状态数据进行日志异常类型匹配，得到日志异常类型集；

（5）根据日志异常类型集匹配日志关键信息，并对日志关键信息进行日志处理关键词提取，得到日志处理关键词；

（6）基于日志处理关键词进行日志收集种类分析，得到日志收集种类。

具体的，在一个分布式数据库环境中，异常可能发生在任何一个节点上，而且每个节点可能会有不同的日志产生模式和存储机制。通过对集群进行深入的分析，能够明确哪些节点需要参与到日志收集过程中来，以及每个节点的特定角色和功能。

一旦确定了需要进行日志信息收集的数据采集节点，下一步就是对每个节点进行数据采集参数的配置。这些参数的配置是为了确保日志收集过程既高效又全面，其中包括设置适当的日志级别，比如仅收集错误和警告级别的日志，以减少数据的冗余；指定日志的格式，确保日志信息能以一种标准和易于分析的格式被存储和处理；以及定义合理的收集频率，以平衡实时监控的需求和性能的考虑。例如，一个高频交易的数据库节点可能需要更高频率的日志收集来捕获快速发生的异常，而一个主要处理批量数据处理任务的节点则可能采用更低的收集频率。

随后，对数据库集群进行持续的操作状态监控，以实时捕捉到所有可能指示异常状态的操作信息。这涉及到从节点上收集各类运行时数据，包括但不限于CPU使用率、内存使用情况、磁盘I/O性能等，以及更直接相关的数据库操作状态，如查询执行时间、失败的数据库事务等。通过这些操作状态数据，能够在问题发生之初就及时发现异常迹象。

接下来，基于收集到的操作状态数据进行日志异常类型匹配，这一步骤利用先进的数据分析技术，如模式识别和机器学习算法，从大量的操作状态数据中识别出与已知异常模式相匹配的情况，进而确定可能涉及到的日志异常类型集。比如，可能识别到因为磁盘I/O性能瓶颈导致的查询超时作为一种异常类型。

基于确定的日志异常类型集，进一步分析和匹配相关的日志关键信息，然后从这些关键信息中提取出用于日志处理的关键词。这些关键词对于后续的日志信息收集至关重要，因为它们直接决定了哪些日志信息是相关且需要被收集的。例如，对于查询超时的异常，相关的关键词可能包括“超时”，“查询失败”等。最后，基于提取出的日志处理关键词，进行日志收集种类分析，以确定应采用哪种类型的日志收集方法。这可能包括从实时监控日志输出到定期分析日志文件等多种方式。通过这种精细化的日志收集种类分析，能够针对不同类型的异常采用最合适的日志收集策略，从而确保在保持性能的同时，有效地捕获到所有关键的异常日志信息，为后续的异常处理和优化提供了坚实的数据基础。

在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：

S201、当检测到数据库集群的异常日志关键字集时，对异常日志关键字集中每个异常日志关键字进行时间戳提取，得到多个异常时间戳；

S202、基于多个异常时间戳进行异常频率分析，得到异常频率数据；

S203、基于多个异常时间戳以及异常频率数据，对每个异常日志关键字进行异常编码分析，得到每个异常日志关键字对应的异常事件编码；

S204、将多个异常时间戳合并为异常编码集，同时，将每个异常日志关键字对应的异常事件编码合并为异常编码集。

需要说明的是，这个过程涉及对数据库集群的持续日志输出进行扫描，以识别那些包含预定义异常关键字，如“错误”、“失败”或特定错误代码的日志条目。当检测到这些异常日志关键字时，进而的任务是从这些条目中提取出具体的异常发生时间戳，这些时间戳是关键的，因为它们不仅指明了异常发生的具体时间点，还为后续的异常频率分析和异常编码的确定提供了基础。

提取时间戳后，将基于这些异常时间戳进行深入的异常频率分析。这个分析的目的是要识别出异常发生的模式和频率，比如某个特定类型的异常是否在特定时间段内频繁发生。通过对时间戳的统计分析，可以揭示出异常事件的发生趋势，如在负载高峰时段异常事件的增多，或在某次更新后异常频率的上升，这些分析结果为进一步的异常处理提供了重要的指导信息。进而，将基于提取的异常时间戳和得到的异常频率数据对每个异常日志关键字进行进一步的异常编码分析。这个步骤的目的是要确定每个异常日志关键字对应的具体异常事件编码，这些编码是对异常类型的进一步精确描述，它们通常是预先定义好的，根据不同的异常类型和原因进行分类。例如，一个数据库查询超时的异常可能被分配有一个特定的异常编码，而一个因权限不足而失败的数据库操作则有另一个编码。通过这种分析，能够将模糊的异常描述转化为精确的异常编码，从而为后续的异常处理和修复提供了清晰的指引。

最后，将多个异常时间戳和每个异常日志关键字对应的异常事件编码进行合并，形成一个全面的异常编码集。这个编码集是对数据库集群当前异常状态的一个全景描述，它包含了所有已检测到的异常事件的编码和发生时间，为后续的异常处理策略制定和优化提供了一个坚实的数据基础。例如，如果发现在某一时间段内有多个关于数据库连接失败的异常日志，而这些异常都对应着同一种异常编码，那么这个信息就可以被用来推断出可能存在的连接池配置问题，并据此制定相应的优化措施。

通过上述连贯的处理过程，不仅能够实时捕获和分析数据库集群中的异常事件，还能将这些信息转化为具体的异常编码和发生模式，为数据库管理员和开发者提供了强大的数据支持，帮助他们更快地定位问题、诊断原因并制定有效的解决策略。这一全面而精确的异常日志处理机制是确保数据库集群稳定运行、及时响应异常的关键。

在一具体实施例中，执行步骤S103的过程可以具体包括如下步骤：

（1）对异常编码集以及异常时间戳集进行标准化处理，得到标准编码集以及标准时间戳集；

（2）对标准编码集进行索引构建，得到编码索引表；

（3）基于标准时间戳以及编码索引表创建日志查询语句；

（4）基于日志查询语句匹配目标异常日志，得到多个目标异常日志。

首先，当检测到数据库集群的异常事件时，它会收集异常事件相关的编码和时间戳。这些原始收集到的编码和时间戳可能会因为不同的数据源和记录习惯而有所不同。例如，不同的数据库节点可能会以不同的格式记录时间戳，一些是UNIX时间戳，而另一些可能是ISO 8601格式的字符串。同样地，异常编码也可能存在差异。因此，对这些异常编码集和时间戳集进行标准化处理成为了第一步。这一步骤确保所有的时间戳都转换为统一的格式，比如所有的时间戳都转换为ISO 8601格式，并且所有的异常编码都转换为统一的标准编码中的编码。这样不仅便于后续的处理和分析，而且也确保了数据的一致性和可比较性。

随后，对经过标准化的异常编码集进行索引构建是下一个关键步骤。通过建立编码索引表，可以快速定位到与特定异常编码相关联的所有日志条目。这个索引表类似于数据库索引，通过提前处理和组织异常编码数据，大大加快了日志查询和匹配的速度。索引构建的过程中，会分析标准化后的异常编码集，为每个唯一的异常编码创建索引键，并记录与之关联的所有日志信息的引用。例如，如果异常编码“E404”代表了数据库连接失败的错误，那么在编码索引表中就会有一个“E404”索引键，与之关联的是所有包含该异常编码的日志条目的引用。

有了标准化的时间戳集和编码索引表，就可以创建精确的日志查询语句了。这些查询语句是根据标准化的异常时间戳以及编码索引表来构建的，它们能够精确地匹配那些符合特定异常编码和发生在特定时间区间内的日志条目。例如，如果需要查询所有在过去24小时内发生的“E404”数据库连接失败错误的日志，它就可以利用编码索引表中的“E404”索引键和时间戳集来构建一个精确的查询语句。

最后，基于这些日志查询语句，可以匹配并定位到目标异常日志。这个过程可能涉及对日志存储的查询，包括从日志文件、数据库或专用的日志管理服务中检索信息。通过执行这些查询语句，能够得到所有匹配指定异常编码和时间区间的日志条目，即目标异常日志。这些目标异常日志是后续异常分析和处理的基础，它们不仅提供了异常发生的详细信息，还包含了异常发生的上下文，为最终确定异常原因和制定修复措施提供了关键信息。

在一具体实施例中，执行步骤S105步骤的过程可以具体包括如下步骤：

（1）对异常时间戳中每个异常时间戳进行信息采集时间标定，得到每个异常时间戳对应的信息采集起始时间以及信息采集结束时间；

（2）根据每个异常时间戳的信息采集起始时间以及每个异常时间戳的信息采集结束时间生成每个异常时间戳的初始采集区间；

（3）对每个异常时间戳的初始采集区间进行有效区间拆分，得到每个异常时间戳对应的有效时间区间；

（4）基于每个异常时间戳对应的有效时间区间确定每个目标异常日志的日志信息采集时间区间。

首先，需要对每个检测到的异常时间戳进行信息采集时间的标定，这意味着为每个异常时间戳定义一个信息采集的起始时间和结束时间。这一步骤是基于对异常事件的理解和经验规则的应用，例如，如果一个异常事件是一个瞬时的错误，那么信息采集的时间区间可能就比较短，覆盖异常发生前后几分钟的日志记录；而对于一个可能持续发生的问题，比如性能退化，则需要一个更长的信息采集时间区间，以便捕获足够的上下文信息和异常的发展过程。

接下来，根据每个异常时间戳的信息采集起始时间和结束时间来生成每个异常时间戳的初始采集区间。这些初始采集区间是初步设定的，旨在覆盖可能与异常相关的日志信息。然而，由于不同异常事件的性质和影响范围可能大不相同，这就需要对这些初始采集区间进行进一步的拆分和调整，以形成更为精确的有效时间区间。这一步骤涉及到对异常事件的深入理解和对行为的分析，以确保有效时间区间既能够覆盖所有相关的日志信息，又不会包含太多无关的数据，从而提高后续分析的效率和准确性。

例如，假设检测到一个数据库查询超时的异常事件，异常时间戳指向了凌晨3点。根据对这一类型异常的经验，可能会将信息采集的起始时间设置为异常发生前5分钟，结束时间设置为异常发生后15分钟，从而形成一个20分钟的初始采集区间。然而，在对该时间区间的日志数据进行初步分析后，可能发现异常前10分钟内的日志数据显示数据库响应时间开始逐渐增长，这表明性能退化可能早于异常发生时间，因此决定将信息采集的起始时间进一步调整为异常发生前10分钟，形成一个更为精确的有效时间区间。

最后，根据每个异常时间戳对应的有效时间区间确定每个目标异常日志的日志信息采集时间区间，这些时间区间将被用于指导实际的日志信息采集工作。通过这样一系列细致的步骤，能够确保收集到的日志信息既全面又相关，为后续的异常原因诊断和解决方案制定提供了坚实的数据基础。这个过程虽然复杂且耗时，但它是确保数据库集群稳定运行和快速响应异常的关键所在，通过精确地分析和处理异常时间戳，能够有效地提升其异常处理能力和服务质量，从而保障数据库服务的高可用性和性能。

在一具体实施例中，执行步骤S106步骤的过程可以具体包括如下步骤：

（1）基于每个目标异常日志的日志信息采集时间区间，分别对每个目标异常日志进行日志信息采集，得到日志信息集；

（2）对日志信息集进行标识符提取，得到多个日志标识符；

（3）对多个日志标识符进行重复标识扫描，得到重复标识数据；

（4）通过重复标识数据对日志信息集进行去重处理，得到去重日志信息集。

具体的，具体来说，首先需要对每个已识别的目标异常日志进行深入分析，以确定其日志信息采集的时间区间。这个时间区间是根据异常事件的性质、历史经验以及可能的影响范围综合确定的。例如，如果一个异常事件是由于配置错误导致的服务不可用，那么可能会将采集时间区间设定为配置变更前后的一段时间，以确保能够捕获到配置变更前后的所有相关日志信息。

随后，会在这些时间区间内对数据库集群的日志进行采集，收集所有可能与目标异常相关的日志条目，从而形成初步的日志信息集。这个日志信息集包含了大量的原始日志数据，这些数据可能包括多个相同的日志条目，因为同一个异常事件可能会在不同的节点上被重复记录，或者同一个异常事件可能会连续发生多次并被日志捕获。

为了精简这个初步的日志信息集，需要对其中的日志条目进行去重处理。这一过程首先涉及到对日志信息集中每个日志条目进行标识符的提取。这些标识符是根据日志条目的内容，如异常编码、发生时间、日志消息等生成的唯一标识，比如可以使用日志条目内容的哈希值作为其标识符。

然后，会对这些提取出的日志标识符进行重复标识的扫描，以识别出那些重复的日志条目。这一步是通过比较日志条目标识符之间是否存在相同的值来实现的。如果发现两个或两个以上的日志条目拥有相同的标识符，则说明这些日志条目是重复的，只需要保留其中的一个即可。

最后，利用这些识别出的重复标识数据对日志信息集进行去重处理，移除掉所有重复的日志条目，仅保留唯一的条目，从而得到最终的去重日志信息集。这个去重后的日志信息集是进行后续异常分析的基础，它不仅包含了所有相关的日志信息，而且还排除了重复的干扰，大大提高了数据分析的效率和准确性。

例如，假设在处理一个数据库查询超时的异常事件时，可能会从不同的节点收集到几乎相同的日志条目，如“查询超时，耗时3000毫秒”。通过对这些日志条目的内容计算哈希值，可以识别出那些具有相同哈希值的重复条目，并只保留一份，确保最终的日志信息集中关于这个查询超时事件的记录是唯一且准确的。

在一具体实施例中，执行S107步骤的过程可以具体包括如下步骤：

（1）对去重日志信息集进行语义信息提取，得到语义信息特征；

（2）根据语义信息特征进行异常模式识别，得到日志异常模式；

（3）根据日志异常模式进行关联规则挖掘，得到关联规则数据；

（4）根据关联规则数据生成异常处理策略，并将异常处理策略传输至预置的经验文档数据库。

需要说明的是，首先，对去重日志信息集进行语义信息提取的过程涉及到对每条日志条目的内容进行深入分析，以识别和提取其中蕴含的关键语义特征。这些特征可能包括特定的错误代码、异常消息、操作标识符以及与异常相关的其他重要信息。例如，如果一条日志条目记录了一个数据库查询超时的错误，会提取出“查询超时”这一关键语义信息，并识别出相关的查询ID和超时时长等特征。为了实现这一步骤，可能会利用自然语言处理（NLP）技术，如文本分类、实体识别等方法，来自动分析日志文本并提取出有意义的语义信息。

接下来，会根据提取的语义信息特征对日志数据进行异常模式识别。这一步是通过分析日志条目中的语义特征，以及这些特征之间的相互关系来实现的。通过这种分析，能够将相似的异常事件归类为特定的异常模式。例如，如果多条日志条目都记录了由于资源不足导致的查询失败，那么就可以识别出一个与资源不足相关的异常模式。为了实现异常模式的识别，可能会采用机器学习算法，如聚类分析或分类算法，来自动识别和归类异常事件。

随后，会根据识别出的异常模式进行关联规则挖掘，目的是发现异常事件与特定处理措施之间的关系。这一步骤可以揭示出哪些措施能够有效地解决特定类型的异常事件。通过应用数据挖掘技术，如Apriori算法或FP-Growth算法，能够从大量的历史异常处理案例中挖掘出有用的关联规则。这些规则不仅帮助理解异常事件的根本原因，还为制定解决方案提供了重要依据。

最后，基于挖掘出的关联规则数据，会生成具体的异常处理策略。这些策略详细描述了针对每种异常模式应采取的解决步骤、预防措施以及优化建议。随后，这些异常处理策略会被标准化处理并文档化，最终通过安全的方式传输至预置的经验文档数据库中。这个数据库为数据库管理员和开发人员提供了一个宝贵的知识库，他们可以从中快速查找到面对特定异常事件时的建议处理措施。

例如，如果通过分析日志数据识别出了一个由于数据库连接池配置不当导致的连接超时异常模式，并通过关联规则挖掘发现增加连接池大小通常能有效解决这类问题，那么它就会生成一个包含调整连接池配置建议的异常处理策略。这个策略随后会被记录在经验文档数据库中，供以后遇到相似问题时参考。

本发明实施例还提供了一种基于数据库异常的自动化日志信息收集方法系统，如图3所示，该一种基于数据库异常的自动化日志信息收集方法系统具体包括：

启动模块301，用于启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字；

提取模块302，用于当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集；

匹配模块303，用于根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志；

分析模块304，用于对多个所述目标异常日志进行日志类型分析，得到异常日志类型集；

采集模块305，用于基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间；

去重模块306，用于基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集；

生成模块307，用于根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。

通过上述各个模块的协同工作，通过对数据库集群进行节点分析和日志收集参数的精确配置，能够确保从每个数据采集节点中获取到最相关且最准确的日志信息。这一过程的个性化配置，包括日志级别、格式以及收集频率的设定，使得日志收集工作既全面又高效，减少了不必要的数据噪声，确保了后续分析的质量基础。其次，通过对操作状态数据进行日志异常类型匹配，以及进一步的日志关键信息提取和日志收集种类分析，提高了日志信息收集的针对性和有效性。这不仅大大缩减了处理和分析的数据量，而且通过识别出特定的异常模式和关键词，为精确定位问题和快速响应异常提供了可能。此外，通过对异常时间戳的精细分析，确定每个目标异常日志的信息采集时间区间，进一步提升了日志收集的准确性。通过确定有效的采集时间区间，能够捕获到与异常相关的完整上下文信息，从而为分析异常原因和确定解决方案提供了重要的线索。对日志信息集的去重处理以及后续的语义信息提取和异常模式识别，显著提高了数据处理的效率和异常分析的准确性。去重处理确保了数据集的精简和高质量，而语义信息提取和异常模式识别则为深入理解异常事件的本质提供了基础。最后，通过关联规则挖掘和异常处理策略的自动生成，不仅加快了对异常的响应速度，还提高了处理措施的有效性。通过将生成的策略文档化并传输至预置的经验文档数据库，为数据库管理员和开发者提供了一个宝贵的知识资源，有助于提升整个组织对数据库异常的处理能力。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于数据库异常的自动化日志信息收集方法，其特征在于，包括：

启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字；

当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集；

根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志；

对多个所述目标异常日志进行日志类型分析，得到异常日志类型集；

基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间；

基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集；

根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。

2.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字步骤，包括：

对所述数据库集群进行节点分析，得到多个数据采集节点；

对每个所述数据采集节点进行数据采集参数配置，得到每个所述数据采集节点的数据采集参数，其中数据采集参数包括：日志级别、日志格式以及收集频率；

对所述数据库集群进行操作状态监控，得到操作状态数据；

基于所述操作状态数据进行日志异常类型匹配，得到日志异常类型集；

根据所述日志异常类型集匹配日志关键信息，并对所述日志关键信息进行日志处理关键词提取，得到日志处理关键词；

基于所述日志处理关键词进行日志收集种类分析，得到日志收集种类。

3.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集步骤，包括：

当检测到所述数据库集群的异常日志关键字集时，对异常日志关键字集中每个异常日志关键字进行时间戳提取，得到多个异常时间戳；

基于多个异常时间戳进行异常频率分析，得到异常频率数据；

基于多个所述异常时间戳以及所述异常频率数据，对每个所述异常日志关键字进行异常编码分析，得到每个所述异常日志关键字对应的异常事件编码；

将多个所述异常时间戳合并为所述异常时间戳集，同时，将每个所述异常日志关键字对应的异常事件编码合并为所述异常编码集。

4.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志步骤，包括：

对所述异常编码集以及所述异常时间戳集进行标准化处理，得到标准编码集以及标准时间戳集；

对所述标准编码集进行索引构建，得到编码索引表；

基于所述标准时间戳以及所述编码索引表创建日志查询语句；

基于所述日志查询语句匹配目标异常日志，得到多个目标异常日志。

5.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间步骤，包括：

对所述异常时间戳中每个异常时间戳进行信息采集时间标定，得到每个所述异常时间戳对应的信息采集起始时间以及信息采集结束时间；

根据每个所述异常时间戳的信息采集起始时间以及每个所述异常时间戳的信息采集结束时间生成每个所述异常时间戳的初始采集区间；

对每个所述异常时间戳的初始采集区间进行有效区间拆分，得到每个所述异常时间戳对应的有效时间区间；

基于每个所述异常时间戳对应的有效时间区间确定每个所述目标异常日志的日志信息采集时间区间。

6.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集步骤，包括：

基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集；

对所述日志信息集进行标识符提取，得到多个日志标识符；

对多个所述日志标识符进行重复标识扫描，得到重复标识数据；

通过所述重复标识数据对所述日志信息集进行去重处理，得到去重日志信息集。

7.根据权利要求6所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库步骤，包括：

对所述去重日志信息集进行语义信息提取，得到语义信息特征；

根据所述语义信息特征进行异常模式识别，得到日志异常模式；

根据所述日志异常模式进行关联规则挖掘，得到关联规则数据；

根据所述关联规则数据生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。

8.一种基于数据库异常的自动化日志信息收集方法系统，用以执行如权利要求1至7任一项所述的基于数据库异常的自动化日志信息收集方法，其特征在于，包括：

启动模块，用于启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字；

提取模块，用于当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集；

匹配模块，用于根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志；

分析模块，用于对多个所述目标异常日志进行日志类型分析，得到异常日志类型集；

采集模块，用于基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间；

去重模块，用于基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集；

生成模块，用于根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。