CN115658441A - 一种基于日志的家政业务系统异常监控方法、设备及介质 - Google Patents

Abstract

本申请公开了一种基于日志的家政业务系统异常监控方法、设备及介质，属于电数字数据处理技术领域。其中，方法包括：采集家政业务系统运行过程中产生的日志数据，对日志数据进行聚类分析，以将日志数据划分为异常日志集群和正常日志集群；确定家政业务系统的当前业务频度，根据当前业务频度，确定异常日志集群对应的第一监控时长；按照日志数据的时间先后顺序，从异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由异常日志组成的多个监控日志序列；指定时长是根据第一监控时长得到的；对多个监控日志序列进行异常检测，以确定多个监控日志序列中存在异常的异常单元，并对异常单元进行告警。

Description

一种基于日志的家政业务系统异常监控方法、设备及介质

技术领域

本申请涉及电数字数据处理技术领域，具体涉及一种基于日志的家政业务系统异常监控方法、设备及介质。

背景技术

现阶段，家政服务业已成为百姓日常生活中不可或缺的重要行业，随着家政服务业的不断发展，家政业务系统作为承载家政业务的主体，也随之成为家政服务领域的重要部分。

如何在家政业务系统上线后保障其正常运行，已成为运维人员的主要工作内容之一，而常见的运维方法通常是通过人工查询日志来确定异常点，进而通过查看相应的代码去解决当前出现的异常。该方式不仅需要运维人员对于系统的运行足够熟悉，同时还需对大量日志进行分析，效率较低，使得用户体验不佳。

发明内容

为了解决上述问题，本申请提出了一种基于日志的家政业务系统异常监控方法，其中，方法包括：

采集家政业务系统运行过程中产生的日志数据，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群；

确定所述家政业务系统的当前业务频度，根据所述当前业务频度，确定所述异常日志集群对应的第一监控时长；所述第一监控时长与所述当前业务频度呈负相关；

按照所述日志数据的时间先后顺序，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列；所述指定时长是根据所述第一监控时长得到的；

对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，并对所述异常单元进行告警。

在本申请的一种实现方式中，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群，具体包括：

对所述日志数据进行解析，得到解析后的结构化日志；所述结构化日志包括用于表征所述家政业务系统已执行操作的标识符、所述已执行操作对应的日志事件以及所述日志事件对应的时间点；

根据所述标识符，对携带有同一标识符的结构化日志进行聚合，得到结构化日志序列；

对所述结构化日志序列进行向量化，得到由多个日志向量构成的结构化日志序列；

计算所述结构化日志序列之间的相似度，根据所述相似度对所述结构化日志序列进行聚类，以将所述日志数据划分为异常日志集群和正常日志集群。

在本申请的一种实现方式中，对所述结构化日志序列进行向量化，得到由多个日志向量构成的结构化日志序列，具体包括：

根据所述结构化日志对应的日志事件，从所述结构化日志序列中，筛选出多组目标结构化日志；各组目标结构化日志对应的日志事件相同；

确定所述各组目标结构化日志在所述结构化日志序列中所占据的数量比例，将所述各组目标结构化日志按照所述数量比例的顺序进行排序，以确定所述各组目标结构化日志对应的第一权重；

确定所述各组目标结构化日志对应的日志事件所处的运行环境，根据所述运行环境对所述第一权重进行补偿，以得到所述各组目标结构化日志对应的第二权重；

对所述结构化日志序列中的多个结构化日志进行向量化，得到对应的多个日志向量，并根据所述第二权重，对所述多个日志向量赋予相应的第二权重。

在本申请的一种实现方式中，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列，具体包括：

确定所述家政业务系统在区间长度为所述第一监控时长的多个监控区间内所产生的业务事件数量，并根据所述业务事件数量与所述第一监控时长之间的比值，计算在所述多个监控区间下所述家政业务系统对应的实际业务频度；

针对每个所述实际业务频度，确定其对应的第二监控时长；所述第二监控时长与所述实际业务频度呈负相关；

将每个实际业务频度对应的监控区间按照时间先后顺序进行排序，并将所述监控区间对应的监控时长，由所述当前业务频度对应的第一监控时长，调整为指定时长，以从所述异常日志集群中提取区间长度为所述指定时长的多个监控区间内产生的异常日志，得到由所述异常日志组成的监控日志序列；所述指定时长为所述实际业务频度对应的第二监控时长。

在本申请的一种实现方式中，运行环境包括测试环境和实验环境，对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，具体包括：

获取所述测试环境下由异常日志组成的测试日志序列，以及预设的异常关键字集合；

根据所述异常关键字集合，从所述测试日志序列中提取与所述异常关键字集合相匹配的多个测试异常单元；所述异常关键字集合由异常关键字构成，每个测试异常单元对应一个异常关键字；

对所述多个测试异常单元进行向量化，根据向量化后的所述多个测试异常单元，对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中是否存在与所述多个测试异常单元重复的异常单元。

在本申请的一种实现方式中，根据向量化后的所述多个测试异常单元，对所述多个监控日志序列进行异常检测，具体包括：

确定所述多个监控日志序列中每个日志向量分别对应的第二权重；

从所述多个监控日志序列中，提取出所述第二权重不小于预设值的目标日志向量，并按照所述第二权重的顺序，对所述目标日志向量进行排序，以生成相应的待检测监控日志序列；

将向量化后的所述多个测试异常单元，依次与所述待检测监控日志序列中的每个日志向量进行对比，以确定所述日志向量中是否存在与所述多个测试异常单元重复的异常单元。

在本申请的一种实现方式中，确定所述多个监控日志序列中存在异常的异常单元之后，所述方法还包括：

针对每个异常单元，确定所述异常单元在其所在的监控日志序列中的存在次数；

若所述存在次数小于预设次数，则将所述异常单元从所述多个监控日志序列对应的异常单元中剔除。

在本申请的一种实现方式中，对所述异常单元进行告警，具体包括：

根据预设的异常分级规则，确定所述异常单元对应的异常级别，以及所述异常级别对应的处理优先级；

根据所述异常单元的所述处理优先级和堆栈信息，生成对应的标记信息；

根据所述标记信息调用相应的处理接口，获取所述异常单元对应的异常处理策略，以生成包含所述标记信息和所述异常处理策略的告警信息，并通过指定方式推送所述告警信息，以进行异常告警。

本申请实施例提供了一种一种基于日志的家政业务系统异常监控设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

采集家政业务系统运行过程中产生的日志数据，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群；

确定所述家政业务系统的当前业务频度，根据所述当前业务频度，确定所述异常日志集群对应的第一监控时长；所述第一监控时长与所述当前业务频度呈负相关；

按照所述日志数据的时间先后顺序，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列；所述指定时长是根据所述第一监控时长得到的；

对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，并对所述异常单元进行告警。

本申请实施例提供了一种一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

采集家政业务系统运行过程中产生的日志数据，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群；

确定所述家政业务系统的当前业务频度，根据所述当前业务频度，确定所述异常日志集群对应的第一监控时长；所述第一监控时长与所述当前业务频度呈负相关；

按照所述日志数据的时间先后顺序，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列；所述指定时长是根据所述第一监控时长得到的；

对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，并对所述异常单元进行告警。

通过本申请提出的一种基于日志的家政业务系统异常监控方法能够带来如下有益效果：

根据家政业务系统的当前业务频度确定第一监控时长，并根据第一监控时长对异常日志集群进行划分，通过对划分得到的多个监控日志序列进行异常检测，能够有效提高检测效率，在检测到日志数据中存在异常单元后，可实现自动化的异常告警，有效提高了系统异常的处理效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种基于日志的家政业务系统异常监控方法的流程示意图；

图2为本申请实施例提供的一种基于日志的家政业务系统异常监控设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

如图1所示，本申请实施例提供的一种基于日志的家政业务系统异常监控方法，包括：

101：采集家政业务系统运行过程中产生的日志数据，对日志数据进行聚类分析，以将日志数据划分为异常日志集群和正常日志集群。

家政业务系统通过综合运用多种信息化手段，实现了家政服务的预约、咨询、投诉等一体化的服务需求。家政企业可通过家政业务系统对客户、员工信息以及服务情况进行管理，而在家政业务系统的运行过程中，需对其运行情况进行实时监控，以避免系统异常为家政企业带来不可估量的经济损失。

在本申请实施例中，服务器可通过设置于分布式环境下集群各个节点处的指定客户端，比如logstash、filebeat等，采集家政业务系统运行过程中产生的日志数据。其中，日志数据包括系统日志、应用日志、中间件日志（比如，数据库日志）。在采集到日志数据后，将日志数据存储到消息队列中，该消息队列可以为Kafka，Kafka是一种高吞吐量的分布式发布订阅消息系统，能够处理并存储实时采集到的日志数据，在将日志数据存储到消息队列之后，通过流式数据处理系统比如Spark Streaming，订阅并读取消息队列中包含的流式日志数据。

在采集到日志数据后，需要对其进行检测分析，以确定家政业务系统是否存在运行异常。而在进行具体的分析过程之前，需对日志数据进行聚类分析，以将日志数据划分为异常日志集群和正常日志集群。

具体地，未经处理的日志数据以文本形式存在，通过对日志数据进行解析，可得到解析后的结构化日志。结构化日志包括用于表征家政业务系统已执行操作的标识符、已执行操作对应的日志事件以及日志事件对应的时间点，同一操作对应的日志标识符是相同的。

进一步地，得到结构化日志后，对携带有同一标识符的结构化日志进行聚合，得到结构化日志序列，此时，每个结构化日志序列也就相当于对某一操作所产生的全部日志进行了集合，是由多个结构化日志链接而成的序列。

进一步地，若要实现日志数据的量化分析，需将其转换为可量化的内容进行后续分析，比如向量。因此，在得到结构化日志序列后，对其进行向量化，可得到由多个日志向量构成的结构化日志序列。进而，计算各结构化日志序列之间的相似度，然后采用层次聚类的方式对相似度较高的结构化日志序列进行聚类，从而将日志数据划分为异常日志集群和正常日志集群。

需要说明的是，在对结构化日志进行向量化的过程中，考虑到不同类型日志在后续分析过程中所能够起到的影响存在不同，因此，需要根据日志的判别能力对其进行赋予相应的权重。

首先，根据结构化日志对应的日志事件，从结构化日志序列中，筛选出多组目标结构化日志。各组目标结构化日志对应的日志事件相同。然后，确定各组目标结构化日志在结构化日志序列中所占据的数量比例，将各组目标结构化日志按照数量比例的顺序进行排序，以确定各组目标结构化日志对应的第一权重。可以理解的是，如果某一个日志事件频繁出现在多个结构化日志序列中，那么其判别能力是小于只出现在少数结构化日志序列中的日志事件的，也就是说，日志事件在异常检测中所起到的影响程度与其在多个结构化日志序列中的出现次数呈负相关。以目标结构化日志按照数量比例降序的顺序进行排列为例，顺序越靠前，对应的第一权重就越小。

除去出现次数这一影响因素之外，各组目标结构化日志所处的运行环境也是判断其对异常检测结果影响程度的影响因素之一。在本申请实施例中，日志的运行环境包括测试环境和实验环境，其中，测试环境指的是根据历史采集的日志样本来测试日志异常的环境，而实验环境则指的是在家政业务系统实际运行过程中对日志进行异常检测的环境。对于某一组目标结构化日志来说，如果其仅出现在实验环境下而不会出现在测试环境中，又或是均会出现于实验环境和测试环境中，那么前者中的目标结构化日志可靠性要强于后者，此时，可根据对应日志事件当前所处的运行环境，对第一权重进行正向补偿，从而得到该组目标结构化日志对应的第二权重。需要说明的是，正向补偿或负向补偿并不是单纯体现于数值上，而是体现于在补偿后能够对第一权重产生的影响为正面影响还是负面影响，以目标结构化日志按照数量比例降序的顺序进行排列为例，顺序越靠前，对应的第一权重就越小，当前第一权重为0.4，若该组目标结构化日志所处的运行环境仅为实验环境，此时，对第一权重进行补偿，所得到的第二权重为0.5，而若该组目标结构化日志所处的运行环境为测试环境，对第一权重进行负向补偿，所得到的第二权重为0.3。补偿差值可根据实际需求进行设定，上述过程仅为举例，本申请对此不进行具体限定。在得到各组目标结构化日志对应的第二权重后，可对结构化日志序列中的日志向量赋予相应的第二权重，第二权重可用于表征对于日志异常检测的判别能力。

102：确定家政业务系统的当前业务频度，根据当前业务频度，确定异常日志集群对应的第一监控时长；第一监控时长与当前业务频度呈负相关。

在对日志数据进行分类后，如果将异常日志集群作为一个整体进行异常分析，则可能会导致结果的不准确性，因此，按照日志数据的生成时间将日志数据集群划分为多个监控区间，能够针对每个监控区间分别进行异常检测，能够有效提高分析结果的准确度。因此，可根据家政业务系统的当前业务频度，确定异常日志集群对应的第一监控时长，第一监控时长与当前业务频度呈负相关。也就是说，业务频度越大，系统发生异常的概率也就越大，越需要以更密集的监控区间对日志进行异常分析，而此时，对应的第一监控时长也就越小。

103：按照日志数据的时间先后顺序，从异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由异常日志组成的多个监控日志序列；指定时长是根据第一监控时长得到的。

家政行业是季节性行业，其业务频度受不同时间段的影响较大，比如，过年期间家政行业的业务频度较高，而暑假期间业务频度则相对来说较低。且对于家政业务系统来说，业务频度受一天不同时段的影响也较大，比如，晚上到早上这一段时间内的业务频度应相对较低。因此，上述过程所确定的第一监控时长为固定时长，而仅通过固定时长的监控区间内所产生的日志进行后续异常分析，可能会使得检测结果不准确，需根据实际业务频度对第一监控时长进行相应的调整。

具体地，确定家政业务系统在区间长度为第一监控时长的多个监控区间内所产生的业务事件数量，并根据业务事件数量与第一监控时长之间的比值，计算在多个监控区间下家政业务系统对应的实际业务频度。每一个实际业务频度都对应有不同的监控时长，针对每个实际业务频度，确定其对应的第二监控时长。其中，第二监控时长与实际业务频度呈负相关。将每个实际业务频度对应的监控区间按照时间先后顺序进行排序，并将监控区间对应的监控时长，由当前业务频度对应的第一监控时长，调整为指定时长，以从异常日志集群中提取区间长度为所述指定时长的多个监控区间内产生的异常日志，得到由异常日志组成的监控日志序列。指定时长为实际业务频度对应的第二监控时长，这样，各监控区间对应的监控时长便不再是固定时长，而是根据实际业务频度所确定出的指定时长，能够有效提高检测效果。

在确定出指定时长后，可根据日志数据的事件先后顺序，从异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，从而得到多个时长为指定时长的监控区间内所产生的异常日志序列。

104：对多个监控日志序列进行异常检测，以确定多个监控日志序列中存在异常的异常单元，并对异常单元进行告警。

在得到多个监控日志序列后，可根据测试环境中的测试日志序列，对监控日志序列进行异常检测。测试环境指的是根据历史采集的日志样本来模拟测试日志异常的环境，通过前文所提到的日志处理过程，可在测试环境下得到由异常日志组成的测试日志序列。

首先，获取该测试日志序列以及预设的异常关键字集合，异常关键字集合由异常关键字构成，异常关键字为程序异常或报错时日志数据中输出的对应字段，比如error、exception、bug等，也可以为程序异常运行时输出的错误编码，比如正常运行时对应的编码为0000，异常时运行编码为0001。之后，根据异常关键字集合，从测试日志序列中提取与异常关键字集合相匹配的多个测试异常单元。每个测试异常单元对应一个异常关键字，因此，只要测试日志序列中的日志向量中存在至少一个异常关键字，便可生成与其对应的至少一个测试异常单元。在提取出多个测试异常单元后，对其进行向量化，并根据向量化后的多个测试异常单元，对多个监控日志序列进行异常检测，以确定多个监控日志序列中是否存在与多个测试异常单元重复的异常单元。

在对实验环境中的多个监控日志序列进行异常检测时，需根据各日志向量对于异常检测结果的影响程度，对监控日志序列中的各日志向量进行进一步筛选，以通过筛选出的对于异常检测结果较为敏感的日志向量，进一步提高异常检测的效率和准确度。

具体地，本申请实施例以目标结构化日志按照数量比例降序的顺序进行排列这一场景为例，确定多个监控日志序列中每个日志向量分别对应的第二权重。从多个监控日志序列中，提取出第二权重不小于预设值的目标日志向量，并按照第二权重的顺序，对目标日志向量进行排序，以生成相应的待检测监控日志序列，将向量化后的多个测试异常单元，依次与待检测监控日志序列中的每个日志向量进行对比，以此确定日志向量中是否存在与多个测试异常单元重复的异常单元。

通常情况下，单独异常单元的出现并不能直接表明家政业务系统发生了异常，比如，某异常单元指出当前系统出现认证错误，可能是由于用户不小心密码输入错误引起的，而对于频繁出现的异常单元，则极有可能是系统发生了运行异常，此时，需要及时进行告警。因此，在确定监控日志序列存在异常单元后，针对每个异常单元，确定该异常单元在其所在的监控日志序列中的存在次数。若存在次数小于预设次数，则有可能是由于用户的误操作或是其他原因造成的日志异常，并不能将其作为判定系统异常的依据，此时，需要将该异常单元从多个监控日志序列对应的异常单元中剔除。

日志异常的类型包括多种，不同类型的日志所对应的异常级别也存在不同，本申请实施例可在提取出日志中存在异常的异常单元后，根据异常单元中包含的异常关键字，确定其对应的异常级别。比如，异常关键字包括fatal、error、warn等，以上述异常关键字为例，日志指出fatal错误将会导致程序的退出，指出error错误表示当前程序发生错误事件，但不会影响程序的正常运行，指出warn错误表明程序会出现潜在错误，因此，可根据对程序正常运行的影响效果的大小，按照异常级别由大到小的顺序，将上述异常关键字依次排列为fatal、error、warn。在确定异常单元的异常级别后，便可根据异常级别，确定该异常单元对应的处理优先级。异常级别越大，处理优先级越高。之后，根据异常单元的处理优先级和堆栈信息，生成该异常单元所对应的标记信息。标记信息可用于调用与其异常类型相对应的处理接口，而处理接口包含多类异常实例的解决策略，通过调用处理接口能够获取到异常单元的异常处理策略。在获取到异常处理策略之后，生成包含标记信息和异常处理则略的告警信息，然后通过指定方式将告警信息推送给运维人员或是控制终端，实现系统的异常告警。其中，指定方式包括短信、公众号推送或邮箱。当接收到告警信息之后，运维人员可根据堆栈信息，快速定位到异常单元对应的逻辑代码位置，并根据处理优先级，确定异常的解决顺序。

以上为本申请提出的方法实施例。基于同样的思路，本申请的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。

图2为本申请实施例提供的一种基于日志的家政业务系统异常监控设备的结构示意图。如图2所示，包括：

至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

采集家政业务系统运行过程中产生的日志数据，对日志数据进行聚类分析，以将日志数据划分为异常日志集群和正常日志集群；

确定家政业务系统的当前业务频度，根据当前业务频度，确定异常日志集群对应的第一监控时长；第一监控时长与当前业务频度呈负相关；

按照日志数据的时间先后顺序，从异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由异常日志组成的多个监控日志序列；指定时长是根据第一监控时长得到的；

对多个监控日志序列进行异常检测，以确定多个监控日志序列中存在异常的异常单元，并对异常单元进行告警。

本申请实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：

采集家政业务系统运行过程中产生的日志数据，对日志数据进行聚类分析，以将日志数据划分为异常日志集群和正常日志集群；

确定家政业务系统的当前业务频度，根据当前业务频度，确定异常日志集群对应的第一监控时长；第一监控时长与当前业务频度呈负相关；

按照日志数据的时间先后顺序，从异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由异常日志组成的多个监控日志序列；指定时长是根据第一监控时长得到的；

对多个监控日志序列进行异常检测，以确定多个监控日志序列中存在异常的异常单元，并对异常单元进行告警。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于日志的家政业务系统异常监控方法，其特征在于，所述方法包括：

采集家政业务系统运行过程中产生的日志数据，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群；

确定所述家政业务系统的当前业务频度，根据所述当前业务频度，确定所述异常日志集群对应的第一监控时长；所述第一监控时长与所述当前业务频度呈负相关；

按照所述日志数据的时间先后顺序，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列；所述指定时长是根据所述第一监控时长得到的；

对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，并对所述异常单元进行告警。

2.根据权利要求1所述的一种基于日志的家政业务系统异常监控方法，其特征在于，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群，具体包括：

对所述日志数据进行解析，得到解析后的结构化日志；所述结构化日志包括用于表征所述家政业务系统已执行操作的标识符、所述已执行操作对应的日志事件以及所述日志事件对应的时间点；

根据所述标识符，对携带有同一标识符的结构化日志进行聚合，得到结构化日志序列；

对所述结构化日志序列进行向量化，得到由多个日志向量构成的结构化日志序列；

计算所述结构化日志序列之间的相似度，根据所述相似度对所述结构化日志序列进行聚类，以将所述日志数据划分为异常日志集群和正常日志集群。

3.根据权利要求2所述的一种基于日志的家政业务系统异常监控方法，其特征在于，对所述结构化日志序列进行向量化，得到由多个日志向量构成的结构化日志序列，具体包括：

根据所述结构化日志对应的日志事件，从所述结构化日志序列中，筛选出多组目标结构化日志；各组目标结构化日志对应的日志事件相同；

确定所述各组目标结构化日志在所述结构化日志序列中所占据的数量比例，将所述各组目标结构化日志按照所述数量比例的顺序进行排序，以确定所述各组目标结构化日志对应的第一权重；

确定所述各组目标结构化日志对应的日志事件所处的运行环境，根据所述运行环境对所述第一权重进行补偿，以得到所述各组目标结构化日志对应的第二权重；

对所述结构化日志序列中的多个结构化日志进行向量化，得到对应的多个日志向量，并根据所述第二权重，对所述多个日志向量赋予相应的第二权重。

4.根据权利要求1所述的一种基于日志的家政业务系统异常监控方法，其特征在于，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列，具体包括：

确定所述家政业务系统在区间长度为所述第一监控时长的多个监控区间内所产生的业务事件数量，并根据所述业务事件数量与所述第一监控时长之间的比值，计算在所述多个监控区间下所述家政业务系统对应的实际业务频度；

针对每个所述实际业务频度，确定其对应的第二监控时长；所述第二监控时长与所述实际业务频度呈负相关；

将每个实际业务频度对应的监控区间按照时间先后顺序进行排序，并将所述监控区间对应的监控时长，由所述当前业务频度对应的第一监控时长，调整为指定时长，以从所述异常日志集群中提取区间长度为所述指定时长的多个监控区间内产生的异常日志，得到由所述异常日志组成的监控日志序列；所述指定时长为所述实际业务频度对应的第二监控时长。

5.根据权利要求3所述的一种基于日志的家政业务系统异常监控方法，其特征在于，运行环境包括测试环境和实验环境，对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，具体包括：

获取所述测试环境下由异常日志组成的测试日志序列，以及预设的异常关键字集合；

根据所述异常关键字集合，从所述测试日志序列中提取与所述异常关键字集合相匹配的多个测试异常单元；所述异常关键字集合由异常关键字构成，每个测试异常单元对应一个异常关键字；

对所述多个测试异常单元进行向量化，根据向量化后的所述多个测试异常单元，对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中是否存在与所述多个测试异常单元重复的异常单元。

6.根据权利要求5所述的一种基于日志的家政业务系统异常监控方法，其特征在于，根据向量化后的所述多个测试异常单元，对所述多个监控日志序列进行异常检测，具体包括：

确定所述多个监控日志序列中每个日志向量分别对应的第二权重；

从所述多个监控日志序列中，提取出所述第二权重不小于预设值的目标日志向量，并按照所述第二权重的顺序，对所述目标日志向量进行排序，以生成相应的待检测监控日志序列；

将向量化后的所述多个测试异常单元，依次与所述待检测监控日志序列中的每个日志向量进行对比，以确定所述日志向量中是否存在与所述多个测试异常单元重复的异常单元。

7.根据权利要求1所述的一种基于日志的家政业务系统异常监控方法，其特征在于，确定所述多个监控日志序列中存在异常的异常单元之后，所述方法还包括：

针对每个异常单元，确定所述异常单元在其所在的监控日志序列中的存在次数；

若所述存在次数小于预设次数，则将所述异常单元从所述多个监控日志序列对应的异常单元中剔除。

8.根据权利要求3所述的一种基于日志的家政业务系统异常监控方法，其特征在于，对所述异常单元进行告警，具体包括：

根据预设的异常分级规则，确定所述异常单元对应的异常级别，以及所述异常级别对应的处理优先级；

根据所述异常单元的所述处理优先级和堆栈信息，生成对应的标记信息；

根据所述标记信息调用相应的处理接口，获取所述异常单元对应的异常处理策略，以生成包含所述标记信息和所述异常处理策略的告警信息，并通过指定方式推送所述告警信息，以进行异常告警。

9.一种基于日志的家政业务系统异常监控设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

采集家政业务系统运行过程中产生的日志数据，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群；

确定所述家政业务系统的当前业务频度，根据所述当前业务频度，确定所述异常日志集群对应的第一监控时长；所述第一监控时长与所述当前业务频度呈负相关；

按照所述日志数据的时间先后顺序，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列；所述指定时长是根据所述第一监控时长得到的；

对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，并对所述异常单元进行告警。

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

采集家政业务系统运行过程中产生的日志数据，对所述日志数据进行聚类分析，以将所述日志数据划分为异常日志集群和正常日志集群；

确定所述家政业务系统的当前业务频度，根据所述当前业务频度，确定所述异常日志集群对应的第一监控时长；所述第一监控时长与所述当前业务频度呈负相关；

按照所述日志数据的时间先后顺序，从所述异常日志集群中依次提取区间长度为指定时长的多个监控区间内的异常日志，得到由所述异常日志组成的多个监控日志序列；所述指定时长是根据所述第一监控时长得到的；

对所述多个监控日志序列进行异常检测，以确定所述多个监控日志序列中存在异常的异常单元，并对所述异常单元进行告警。

Images