CN115794479B - 日志数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开一种日志数据处理方法、装置、电子设备及存储介质，该日志数据处理方法包括：当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征；利用决策模型对多个日志特征进行分析，以得到告警原因。本申请能够根据日志数据推导出告警原因，有利于开发者根据告警原因处理故障，从而提高处理故障的效率。

Description

日志数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及电子信息技术领域，具体涉及一种日志数据处理方法、装置、电子设备及存储介质。

背景技术

前端监控告警平台，用于上报线上项目运行时产生的各种信息，并根据这些信息，向开发者发送告警消息，以通知开发者该线上项目发生故障。现有的前端监控告警平台通常包括采集日志、存储日志、日志数据分析、故障告警等功能，然而，现有的前端监控告警平台更注重采集全面的运行日志，以及提供自定义的告警配置能力。虽然现有的前端监控告警平台拥有更全面、更详细的日志数据，但是，当触发告警时仍然依赖于人工排障能力以及经验处理日志数据，导致开发者因难以发现告警原因而低效处理故障。

发明内容

鉴于此，本申请提供一种日志数据处理方法、装置、电子设备及存储介质，能够根据日志数据推导出告警原因，有利于开发者根据告警原因处理故障，从而提高处理故障的效率。

本申请提供一种日志数据处理方法，包括：

当触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征；

利用决策模型对所述多个日志特征进行分析，以得到告警原因。

可选地，所述日志数据处理方法，还包括：

将所述多个日志特征以及所述告警原因作为训练数据，对训练数据集进行更新；

基于更新后的训练数据集，对所述决策模型进行训练，以及，

当获取到人工调节参数时，基于所述人工调节参数，对所述决策模型进行调节。

可选地，所述利用决策模型对所述多个日志特征进行分析，以得到告警原因，包括：

确定每个所述日志特征的权重值；

基于所述权重值，确定告警原因。

可选地，所述当触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

获取运行日志，检测所述运行日志是否携带来源标识字段或前端标识字段；

若否，则判定所述运行日志记录的请求为非法请求，并获得所述运行日志的日志特征，且所述日志特征为合法性特征；

若是，则对所述来源标识字段或所述前端标识字段进行检测；

当未检测到所述来源标识字段为预设页面的标识字段或所述前端标识字段为预设前端的标识字段时，判定所述运行日志记录的请求为非法请求，并获得所述运行日志的日志特征，且所述日志特征为合法性特征。

可选地，所述当触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

获取多个运行日志，当检测到每个所述运行日志记录的请求时间点在预设周期内或每个所述运行日志记录的字段的重合度超过预设值时，获得每个所述运行日志的日志特征，且每个所述日志特征均为单点特征。

可选地，所述当触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

确定所述多个运行日志记录的接口请求数与页面访问量，当检测到在预设单位时间内所述接口请求数与所述页面访问量的比例值不等于预设比例值时，获得每个所述运行日志的日志特征，且每个所述日志特征均为比例特征。

可选地，所述当触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

获取预设时间内的多个运行日志，当检测到在所述预设时间内缺失运行日志时，获得每个所述运行日志的日志特征，且每个所述日志特征均为阻塞性特征，或，

获取运行日志，当检测到所述运行日志记录的接口响应时间超过预设时长时，获得所述运行日志的日志特征，且所述日志特征为阻塞性特征。

对应地，本申请提供一种日志数据处理装置，包括：

提取模块，用于当触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征；

分析模块，用于利用决策模型对所述多个日志特征进行分析，以得到告警原因。

此外，本申请还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上任一项所述日志数据处理方法的步骤。

在此基础上，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上任一项所述日志数据处理方法的步骤。

本申请提供一种日志数据处理方法、装置、电子设备及存储介质，首先，当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征，接着，利用决策模型对多个日志特征进行分析，以得到告警原因。本申请通过对日志数据进行特征提取，实现对日志数据进行初步筛选，有利于决策模型推导出告警原因，从而节省人工分析、决策的步骤，让开发者根据推导出的告警原因处理故障，极大提高处理故障的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的日志数据处理方法的第一流程示意图；

图2为本申请实施例提供的日志数据处理方法的第二流程示意图；

图3为本申请实施例提供的日志数据处理装置的结构示意图；

图4为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。

请参见图1，图1为本申请实施例提供的日志数据处理方法的第一流程示意图。

本申请提供一种日志数据处理方法，包括：

S1、当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征。

可以理解的是，告警是指通过监控日志单位时间内的变化，如果变化超出预设的阈值，则触发告警。告警的类型包括页面访问量过高/过低、接口请求量过高/过低、资源加载异常以及运行错误异常。

在一些实施例中，当前端监控平台触发告警时，追溯告警时间段内的所有前端运行日志，以作为日志数据，并对日志数据进行特征提取。

在一些实施例中，每个日志特征的类型可以不同，日志数据的主题是每一个运行日志，确定日志特征的类型的决定点不局限在单条日志，也取决于多条日志。

S2、利用决策模型对多个日志特征进行分析，以得到告警原因。

在一些实施例中，利用基于随机森林算法的决策模型对多个日志特征进行分析，以得到告警原因。随机森林算法是一种有监督的机器学习算法。它之所以被称为“森林”，是因为它生成了决策树森林。决策树往往会创建规则，并做出决策。随机森林将随机选择要素并进行观测，构建决策树林，然后计算平均结果。然后，将来自这些决策树的数据合并在一起，以确保最准确的预测。虽然单独的决策树只有一个结果和范围狭窄的群组，但森林可以确保有更多的小组和决策，从而获得更准确的结果。它还有一个好处，就是通过在随机特征子集中找到最佳特征来为模型添加随机性。从理论上讲，与单个决策树相比，大量不相关的决策树会产生更准确的预测。这是因为大量的决策树协同工作，可以相互保护，免受单个错误和过度拟合的影响。

可选地，在一些实施例中，步骤S1包括：

获取运行日志，检测运行日志是否携带来源标识字段或前端标识字段；若否，则判定运行日志记录的请求为非法请求，并获得运行日志的日志特征，且日志特征为合法性特征；若是，则对来源标识字段或前端标识字段进行检测；当未检测到来源标识字段为预设页面的标识字段或前端标识字段为预设前端的标识字段时，判定运行日志记录的请求为非法请求，并获得运行日志的日志特征，且日志特征为合法性特征。

可以理解的是，运行日志可以分为六类，分别是页面访问、接口请求、JS错误、资源加载、性能以及自定义日志。日志记录的信息包括日期时间、用户唯一标识、上一个页面地址、当前页面地址、接口唯一标识、版本、国家、省份、城市、运营商、用户终端IP、用户终端userAgent、网络类型、品牌、机型、平台、操作系统、浏览器、浏览器引擎、屏幕可视区域、设备分辨率以及环境等等。

在本实施例中，检测运行日志是否携带来源标识字段，即Referer来源，若没有携带 Referer 来源，说明接口不是从前端页面发起，属于非法请求。

检测运行日志是否携带前端标识字段，前端标识字段是指前端特有的逻辑为请求附带的字段，比如请求的唯一标识、接口安全指纹等。没有携带前端标识字段，说明接口不是从前端页面发起，属于非法请求。

通过检测来源标识字段是否为预设页面的标识字段或前端标识字段为预设前端的标识字段，可判断运行日志记录的请求是否来自正常业务渠道，正常业务渠道是指正常业务里接口只在预设页面发起，或者页面只能在预设前端访问，非正常业务渠道的请求都属于是非法请求。

可选地，在一些实施例中，步骤S1包括：

获取多个运行日志，当检测到每个运行日志记录的请求时间点在预设周期内或每个运行日志记录的字段的重合度超过预设值时，获得每个运行日志的日志特征，且每个日志特征均为单点特征。

在本实施例中，检测运行日志记录的字段的重合度，即检测日志记录的字段是否高度重合，检测的字段包括但不限于用户终端IP、用户终端userAgent、用户唯一id、设备id等，字段重合得越多说明单点特征越明显。

检测运行日志记录的请求时间点是否在预设周期内，即检测请求时间是否呈现周期性变化，例如，单位时间内请求量是否一致，或者每日请求是否在固定时间段。请求时间越是呈现周期性变化，越可以排除自然流量，即单点特征越明显。

可选地，在一些实施例中，步骤S1包括：

确定多个运行日志记录的接口请求数与页面访问量，当检测到在预设单位时间内接口请求数与页面访问量的比例值不等于预设比例值时，获得每个运行日志的日志特征，且每个日志特征均为比例特征。

可以理解的是，在正常业务流程中，单次访问业务所发起的接口请求数是相对固定。如果接口请求数与页面访问量之间不成比例，则属于异常情况，通常存在以下两种可能：页面中存在接口轮询逻辑。比如下拉刷新接口逻辑异常，页面刷新接口死循环，轮播频率异常等；人为地异常访问，比如停留在当前页面，通过调试模式不断在当前页面访问部分接口等。

可选地，在一些实施例中，步骤S1包括：

获取预设时间内的多个运行日志，当检测到在预设时间内缺失运行日志时，获得每个运行日志的日志特征，且每个日志特征均为阻塞性特征，或，获取运行日志，当检测到运行日志记录的接口响应时间超过预设时长时，获得运行日志的日志特征，且日志特征为阻塞性特征。

在一些实施例中，当检测到在预设时间内缺失运行日志时，有可能是资源加载失败，前端页面在渲染前需要能获取到静态资源，html问题、javascrit脚本、css样式、媒体资源等。例如，当html/javascrit获取失败时，页面会直接白屏以及收集不到前端日志，导致在预设时间内缺失运行日志。

可以理解的是，运行日志记录的接口响应时间超过预设时长，说明对应的服务负载过高，或者存在其他故障，直接影响到前端交互，比如用户可能频繁登入登出页面。

可选地，在一些实施例中，步骤S1包括：

通过判断多个运行日志记录的请求的区域分布是否集中、请求端特征是否集中或运营商流量分布是否正常，可以确定运行日志的日志特征是否为分布特征。

可以理解的是，在正常情况下，流量呈现区域成比例的特征。如果部分区域流量异常，可能是第三方运营商或者服务资源故障，或者是业务变更，比如营销活动分区域投放、业务分区域开城等。

请求端特征是指端设备类型，比如OS操作系统、设备型号、浏览器内核，应用版本等；如果端特征过于集中，则可能是兼容性问题或者是应用变更导致的。

在正常情况下，各大运营商流量相对成比例，如果流量异常，有可能是运营商网络异常、单点故障等。

可选地，在一些实施例中，步骤S1包括：

通过判断多个运行日志记录的请求的业务特征是否明显、首屏流量是否正常，可以确定运行日志的日志特征是否为业务特征。

可以理解的是，业务特征指的是，在访问页面或请求接口时，除了公共参数（比如用户鉴权token）之外的业务参数（比如资源Id、资源类型Type）。例如，访问特定资源时会稳定报错，则说明业务特征明显。业务特征越明显，则越确定特定业务导致的问题。

首屏流量是指访问时首次进入的页面，比如应用首页，应用登录页等。首屏流量徒增并不一定代表首屏有问题，有可能是其他问题导致的用户正常行为，例如用户操作反复重启重试。

可选地，在一些实施例中，步骤S2包括：

（21）确定每个日志特征的权重值。

（22）基于权重值，确定告警原因。

在本实施例中，对日志特征进行分析，可以推导出告警原因。每个告警原因都不是单个日志特征可以决定的，而是根据多个日志特征组合以及不同日志特征之间的权重决定的。

告警原因包括：

恶意攻击，恶意攻击是人为的，且大部分以非法的形式进行，因此若告警原因是恶意攻击，合法性特征的权重值较高；其次，恶意攻击一般带有单点特征，因为其怪异表现，所以比例特征也显示异常，然后，其余日志特征的权重值则较小。

业务活动，指正常的运营活动投放或者业务开城。当区域分布特征以及业务特征的权重值较高，其余特征权重则较小时，可以推导出告警原因为业务活动。

代码/功能变更，同业务活动一样，其具有明显的区域分布特征以及业务特征。跟业务活动的区分点在于，此类告警原因大多是错误告警，跟功能变更点时间段相关性比较大。

运营商或服务资源故障，涉及基础设施故障，因此当阻塞性特征的权重值以及分布特征较高，其余日志特征权重则较小时。可以推导出告警原因为运营商或服务资源故障。

请参见图2，图2为本申请实施例提供的日志数据处理方法的第二流程示意图。

可选地，在一些实施例中，在上述日志数据处理方法的基础上，还包括：

S3、将多个日志特征以及告警原因作为训练数据，对训练数据集进行更新。

S4、基于更新后的训练数据集，对决策模型进行训练，以及，当获取到人工调节参数时，基于人工调节参数，对决策模型进行调节。

在本实施例中，将提取到的多个日志特征归类到告警原因，可以形成有标签的训练数据，并补充进训练数据集。决策模型根据日志特征推导出告警原因，从而得出训练结果，日志特征还用于作证训练结果。

在一些实施例中，每日更新数据集，只保留6个月内的有效训练数据。因为触发的告警跟实际业务关联性比较大，所以训练数据集也需要保持实效性。

在一些实施例中，当获取到人工调节参数时，人工调节参数为人工纠正的训练结果（告警原因），基于人工调节参数，对决策模型进行调节，从而实现在训练过程中不断调优决策模型的参数。

可以理解的是，通过大量日志特征（包括标注对应的告警原因）作为训练数据定期训练基于随机森林算法的决策模型，可以生成能够准确预测出告警原因的告警原因预测模型，并用于对新触发的告警快速推导出告警原因，极大提高排查触发告警问题的效率，大大提升维持系统稳定性。

本申请提供一种日志数据处理方法，首先，当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征，接着，利用决策模型对多个日志特征进行分析，以得到告警原因。本申请通过对日志数据进行特征提取，实现对日志数据进行初步筛选，有利于决策模型推导出告警原因，从而节省人工分析、决策的步骤，让开发者根据推导出的告警原因处理故障，极大提高处理故障的效率。

请参见图3，图3为本申请实施例提供的日志数据处理装置的结构示意图。

本申请还提供一种日志数据处理装置，包括：

提取模块201，用于当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征。

分析模块202，用于利用决策模型对多个日志特征进行分析，以得到告警原因。

可选地，在一些实施例中，提取模块201包括：

第一提取单元，用于获取运行日志，检测运行日志是否携带来源标识字段或前端标识字段；若否，则判定运行日志记录的请求为非法请求，并获得运行日志的日志特征，且日志特征为合法性特征；若是，则对来源标识字段或前端标识字段进行检测；当未检测到来源标识字段为预设页面的标识字段或前端标识字段为预设前端的标识字段时，判定运行日志记录的请求为非法请求，并获得运行日志的日志特征，且日志特征为合法性特征。

可选地，在一些实施例中，提取模块201包括：

第二提取单元，用于获取多个运行日志，当检测到每个运行日志记录的请求时间点在预设周期内或每个运行日志记录的字段的重合度超过预设值时，获得每个运行日志的日志特征，且每个日志特征均为单点特征。

可选地，在一些实施例中，提取模块201包括：

第三提取单元，用于确定多个运行日志记录的接口请求数与页面访问量，当检测到在预设单位时间内接口请求数与页面访问量的比例值不等于预设比例值时，获得每个运行日志的日志特征，且每个日志特征均为比例特征。

可选地，在一些实施例中，提取模块201包括：

第四提取单元，用于获取预设时间内的多个运行日志，当检测到在预设时间内缺失运行日志时，获得每个运行日志的日志特征，且每个日志特征均为阻塞性特征，或，获取运行日志，当检测到运行日志记录的接口响应时间超过预设时长时，获得运行日志的日志特征，且日志特征为阻塞性特征。

可选地，在一些实施例中，提取模块201包括：

第五提取单元，用于通过判断多个运行日志记录的请求的区域分布是否集中、请求端特征是否集中或运营商流量分布是否正常，可以确定运行日志的日志特征是否为分布特征。

可选地，在一些实施例中，提取模块201包括：

第六提取单元，用于通过判断多个运行日志记录的请求的业务特征是否明显、首屏流量是否正常，可以确定运行日志的日志特征是否为业务特征。

可选地，在一些实施例中，分析模块202包括：

计算单元，用于确定每个日志特征的权重值。

归类单元，用于基于权重值，确定告警原因。

可选地，在一些实施例中，日志数据处理装置还包括：

训练模块，用于将多个日志特征以及告警原因作为训练数据，对训练数据集进行更新；基于更新后的训练数据集，对决策模型进行训练，以及，当获取到人工调节参数时，基于人工调节参数，对决策模型进行调节。

本申请提供一种日志数据处理装置，首先，当触发告警时，提取模块201获取日志数据，并对日志数据进行特征提取，以得到多个日志特征，接着，分析模块202利用决策模型对多个日志特征进行分析，以得到告警原因。本申请通过对日志数据进行特征提取，实现对日志数据进行初步筛选，有利于决策模型推到出告警原因，从而节省人工分析、决策的步骤，让开发者根据推导出的告警原因处理故障，极大提高处理故障的效率。

此外，本申请实施例还提供一种电子设备，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器301是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器301可包括一个或多个处理核心；优选的，处理器301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。

存储器302可用于存储软件程序以及模块，处理器301通过运行存储在存储器302的软件程序以及模块，从而执行各种功能应用以及图像信息通信方法。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器302还可以包括存储器控制器，以提供处理器301对存储器302的访问。

电子设备还包括给各个部件供电的电源303，优选的，电源303可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元304，该输入单元304可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器301会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中，并由处理器301来运行存储在存储器302中的应用程序，从而实现各种功能，如下：

当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征；利用决策模型对多个日志特征进行分析，以得到告警原因。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本申请提供一种电子设备，首先，当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征，接着，利用决策模型对多个日志特征进行分析，以得到告警原因。本申请通过对日志数据进行特征提取，实现对日志数据进行初步筛选，有利于决策模型推导出告警原因，从而节省人工分析、决策的步骤，让开发者根据推导出的告警原因处理故障，极大提高处理故障的效率。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种日志数据处理方法中的步骤。例如，该指令可以执行如下步骤：

当触发告警时，获取日志数据，并对日志数据进行特征提取，以得到多个日志特征；利用决策模型对多个日志特征进行分析，以得到告警原因。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种日志数据处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种日志数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

尽管已经相对于一个或多个实现方式示出并描述了本申请，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本申请包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。

即，以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

另外，对于特性相同或相似的结构元件，本申请可采用相同或者不相同的标号进行标识。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了使本领域任何技术人员能够实现和使用本申请，本申请给出了以上描述。在以上描述中，为了解释的目的而列出了各个细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实施例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

Claims (9)

1.一种日志数据处理方法，其特征在于，包括：

当前端监控平台触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，所述日志是前端运行日志；

利用决策模型对多个前端运行日志的特征进行分析，以推导出告警原因；

所述方法还包括：

将所述多个日志特征以及所述告警原因作为训练数据，对训练数据集进行更新；

基于更新后的训练数据集，对所述决策模型进行训练；

所述当前端监控平台触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

获取前端运行日志，检测所述前端运行日志是否携带来源标识字段或前端标识字段；

若否，则判定所述前端运行日志记录的请求为非法请求，并获得所述前端运行日志的日志特征，且所述日志特征为合法性特征；

若是，则对所述来源标识字段或所述前端标识字段进行检测；

当未检测到所述来源标识字段为预设页面的标识字段或所述前端标识字段为预设前端的标识字段时，判定所述前端运行日志记录的请求为非法请求，并获得所述前端运行日志的日志特征，且所述日志特征为合法性特征。

2.根据权利要求1所述的日志数据处理方法，其特征在于，所述基于更新后的训练数据集，对所述决策模型进行训练之后，所述方法还包括：

当获取到人工调节参数时，基于所述人工调节参数，对所述决策模型进行调节。

3.根据权利要求1所述的日志数据处理方法，其特征在于，所述利用决策模型对多个前端运行日志的特征进行分析，以推导出告警原因，包括：

确定每个所述日志特征的权重值；

基于所述权重值，确定告警原因。

4.根据权利要求1所述的日志数据处理方法，其特征在于，所述当前端监控平台触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

获取多个前端运行日志，当检测到每个所述前端运行日志记录的请求时间点在预设周期内或每个所述前端运行日志记录的字段的重合度超过预设值时，获得每个所述前端运行日志的日志特征，且每个所述日志特征均为单点特征。

5.根据权利要求1所述的日志数据处理方法，其特征在于，所述当前端监控平台触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

确定多个前端运行日志记录的接口请求数与页面访问量，当检测到在预设单位时间内所述接口请求数与所述页面访问量的比例值不等于预设比例值时，获得每个所述前端运行日志的日志特征，且每个所述日志特征均为比例特征。

6.根据权利要求1所述的日志数据处理方法，其特征在于，所述当前端监控平台触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，包括：

获取预设时间内的多个前端运行日志，当检测到在所述预设时间内缺失前端运行日志时，获得每个所述前端运行日志的日志特征，且每个所述日志特征均为阻塞性特征，或，

获取前端运行日志，当检测到所述前端运行日志记录的接口响应时间超过预设时长时，获得所述前端运行日志的日志特征，且所述日志特征为阻塞性特征。

7.一种日志数据处理装置，其特征在于，包括：

提取模块，用于当前端监控平台触发告警时，获取日志数据，并对所述日志数据进行特征提取，以得到多个日志特征，所述日志是前端运行日志；具体包括：获取前端运行日志，检测所述前端运行日志是否携带来源标识字段或前端标识字段；若否，则判定所述前端运行日志记录的请求为非法请求，并获得所述前端运行日志的日志特征，且所述日志特征为合法性特征；若是，则对所述来源标识字段或所述前端标识字段进行检测；当未检测到所述来源标识字段为预设页面的标识字段或所述前端标识字段为预设前端的标识字段时，判定所述前端运行日志记录的请求为非法请求，并获得所述前端运行日志的日志特征，且所述日志特征为合法性特征；

分析模块，用于利用决策模型对多个前端运行日志的特征进行分析，以推导出告警原因；

训练模块，用于将所述多个日志特征以及所述告警原因作为训练数据，对训练数据集进行更新；基于更新后的训练数据集，对所述决策模型进行训练。

8.一种电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-6任一项所述日志数据处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述日志数据处理方法的步骤。

Images