CN115587017A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取应用系统异常时的多个异常日志；针对每一异常日志，确定异常日志的异常指标；基于异常指标，确定异常日志的第一根因贡献度；从多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度；基于每一组件的第二根因贡献度，确定根因组件。本申请实施例不依赖模型对异常日志进行分析，无需获取大量标注数据，对于数据规模较小的应用系统，能够实现准确高效地异常根因定位，计算量较小、成本较低，能够适应于不同的应用系统以及应用系统的更新。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

现有的应用生产系统中，日志分析是运维人员对应用生产系统的故障进行排查和定位原因的最重要手段之一。

现有的日志分析方法主要包括基于统计算法的日志分析方法和基于深度学习的日志分析方法，上述两种方法都需要依靠大量标注数据进行学习，对于数据规模较小的应用系统，无法提供足够的数据对模型进行训练，进而无法保证模型的准确性。

发明内容

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，可以解决现有的日志分析方法无法应用于数据规模较小的应用系统的问题。

所述技术方案如下：

根据本申请实施例的一个方面，提供了一种数据处理的方法，该方法包括：

获取应用系统异常时的多个异常日志；

针对每一异常日志，确定所述异常日志的异常指标；基于所述异常指标，确定所述异常日志的第一根因贡献度；其中，所述第一根因贡献度用于表征所述异常日志与应用系统异常的根因的关联程度；

从所述多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度；其中，所述第二根因贡献度用于表征所述组件为根因组件的概率；

基于每一组件的第二根因贡献度，确定根因组件。

可选地，所述异常指标包括异常时间次序、日志严重性评分、异常模板评分、异常关键词评分和模板增新变量。

可选地，针对所述异常指标中的异常时间次序，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的日志生成时间、所述异常日志对应调用链的起始时间，以及所述调用链的消耗时间，确定所述异常时间次序。

可选地，针对所述异常指标中的日志严重性评分，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的日志严重性级别，确定所述异常日志的日志严重性评分。

可选地，针对所述异常指标中的异常模板评分，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的异常模板和预设的第一对应关系，确定所述异常日志的异常模板对应的异常模板级别；

基于所述异常日志的异常模板级别，确定所述异常日志的异常模板评分。

可选地，针对所述异常指标中的异常关键词评分，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的异常关键词和预设的第二对应关系，确定所述异常日志的异常关键词对应的异常关键词级别；

基于所述异常日志的异常关键词级别，确定所述异常日志的异常关键词评分。

可选地，针对所述异常指标为模板新增变量，所述确定所述异常日志的异常指标，包括：

若所述异常日志的日志模板与多个预设日志模板均不匹配，则将所述异常日志的模板增新变量设为1；

若所述异常日志的日志模板与所述多个预设日志模板中的任一预设日志模板相匹配，将所述异常日志的模板增新变量设为0。

可选地，所述基于所述异常指标，确定所述异常日志的第一根因贡献度，包括：

确定每一异常指标对应的权重；

基于每一异常指标对应的权重，对各个异常指标进行加权，得到所述异常日志的第一根因贡献度。

可选地，所述基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度，包括：

针对每一组件，将每一组件对应的至少一个异常日志的第一根因贡献度之和作为每一组件的第二根因贡献度；

或

将每一组件对应的至少一个异常日志的第一根因贡献度的平均值作为每一组件的第二根因贡献度。

根据本申请实施例的另一个方面，提供了一种数据处理装置，该装置包括：

异常日志获取模块，用于获取应用系统异常时的多个异常日志；

第一根因贡献度确定模块，用于针对每一异常日志，确定所述异常日志的异常指标；基于所述异常指标，确定所述异常日志的第一根因贡献度；其中，所述第一根因贡献度用于表征所述异常日志与应用系统异常的根因的关联程度；

第二根因贡献度确定模块，用于从所述多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度；其中，所述第二根因贡献度用于表征所述组件为根因组件的概率；

根因组件确定模块，用于基于每一组件的第二根因贡献度，确定根因组件。

根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一种数据处理方法的步骤。

根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种数据处理方法的步骤。

本申请实施例提供的技术方案带来的有益效果是：

基于异常日志的异常指标，确定异常日志的第一根因贡献度，基于每一组件对应的异常日志的第一根因贡献度，确定每一组件的第二根因贡献度，基于每一组件的第二根因贡献度，从中筛选出根因组件，不依赖模型对异常日志进行分析，无需获取用于训练的大量标注数据，对于数据规模较小的应用系统，在应用系统异常时能够实现准确高效地异常根因定位，具有轻量、计算量较小、成本较低的特点，能够适应于不同的应用系统以及应用系统的频繁更新。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的数据处理方法的应用环境示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；

图3为本申请实施例提供的第一根因贡献度确定方法的流程示意图；

图4为本申请实施例提供的一种数据处理装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请涉及的几个名词进行介绍和解释：

SRE(Site Reliability Enginee，站点可靠性工程)：指的是IT(InternetTechnology，互联网技术)运维的软件工程方案，SRE团队使用软件作为工具，来管理系统、解决问题并实现运维任务自动化。

AI(Artificial Intelligence，人工智能)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

ML((Machine Learning，机器学习)：是指从有限的观测数据中学习(或“猜测”)出具有一般性的规律，并将这些规律应用到未观测数据样本上的方法

SVM(Support Vector Machines，支持向量机)：是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。

现有的应用生产系统中，日志分析是运维人员对应用生产系统的故障进行排查和定位原因的最重要手段之一。

当出现新的或未知的软件问题时，SRE或开发人员可能会首先分析和搜索日志以查找根本原因，但是依赖人工分析的方法需要耗费大量时间，效率低下。因此，使用机器学习的方法进行日志分析受到了越来越多的关注。

微服务架构中往往涉及到跨多个服务和组件的日志，日志的规模是巨大的，且大多是非结构化的，因此，在实际进行故障排除时，通常会先从查找错误、异常等日志事件开始，然后分析这些异常日志的关系，最终找到异常的根因。

现有的日志分析方法主要包括两种：

(1)基于统计算法的日志分析方法，这种方法指的是在检测基于字符串的数据中的异常模式的算法，主要包括SVM和随机森林，SVM和随机森林模型都是通过监督训练的方式进行学习，因此需要大量数据及其对应的标注数据来保证模型的准确性，这使得在大多数现实环境中部署它们变得困难且成本高昂；

(2)基于深度学习的日志分析方法，深度学习是AI中一种非常强大的ML形式，通过在大量标注数据上对神经网络进行训练，进而可以找到数据中的模式。当应用系统发生变化时，模型再次需要大量数据重新进行训练，如果需要为每个独特的应用系统对应配置模型，则需要针对每个应用系统单独对模型进行训练，并且为了使模型适应频繁的系统更新，则需要不断地进行训练，实现起来成本极其高昂。

此外，深度学习的训练计算量非常大，本领域技术人员通常是通过使用昂贵的GPU(Graphics Processing Unit，图形处理器)硬件来提高计算的效率，进一步提高了成本。

上述两种方法都需要依靠大量标注数据进行学习，对于某些数据规模较小的应用系统，无法提供足够的数据对模型进行训练，进而无法保证模型的准确性。同时，对训练数据的标注以及模型训练所需的计算资源，都会消耗大量的成本。

本申请提供的数据处理方法、装置、电子设备及存储介质，旨在解决现有技术的如上技术问题。

下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

图1为本申请实施例提供的数据处理方法的应用环境示意图，应用环境中包括终端设备101，终端设备可以获取应用系统异常时的多个异常日志，针对每一异常日志，确定该异常日志的异常指标，基于异常指标，确定异常日志的第一根因贡献度；从多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的根因贡献度，确定每一组件的第二根因贡献度；基于每一组件的根因贡献度，确定根因组件。

上述应用场景中，是终端设备执行对多个异常日志的分析，在其他应用场景中，可以由服务器执行上述转换操作。本领域技术人员可知，上述示例并不对本申请的数据处理方法的应用场景进行限制。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

图2为本申请实施例提供的一种数据处理方法的流程示意图，如图2所示，该方法包括：

步骤S101，获取应用系统异常时的多个异常日志。

具体地，当应用系统发生异常时，可以通过异常检测算法检测出多个异常日志，应用系统可以为运维系统或其他业务系统，本申请实施例对此不做限定。

其中，异常日志可以为记录应用系统异常时的信息的日志，异常日志可以包括日志生成时间、日志严重性、资源ID(Identity，标识)、调用链ID、日志内容、异常类型和异常内容等。

步骤S102，针对每一异常日志，确定异常日志的异常指标；基于异常指标，确定异常日志的第一根因贡献度；其中，第一根因贡献度用于表征异常日志与应用系统异常的根因的关联程度。

具体地，为响应用户的服务请求，可能需要调用应用系统中多个组件，当应用系统发生异常时，可能会有多个组件出现故障，在出现故障的多个组件存在一个根因组件，即其他组件的故障都是由根因组件的故障引起的，而根因组件发生故障的原因，也就是应用系统发生异常的根本原因，即应用系统异常的根因。

为分析出应用系统异常的根因，针对每一异常日志，可以对该异常日志包含的内容进行分析，确定该异常日志的异常指标，并基于该异常日志的异常指标，确定该异常日志的第一根因贡献度。

其中，异常指标可以用于反映系统异常的原因，第一根因贡献度用于表征异常日志与应用系统异常的根因的关联程度。

当异常日志与应用系统异常的根因的关联程度越大，说明该异常日志的内容越能反映出应用系统异常的根因，该异常日志对判断应用系统异常的根因的贡献越大，即该异常日志的第一根因贡献度越大，反之亦然。

步骤S103，从多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度；其中，第二根因贡献度用于表征组件为根因组件的概率。

具体地，为定位到应用系统异常根因对应的根因组件，可以从多个异常日志中确定出每一组件对应的至少一个异常日志。

基于每一组件对应的至少一个异常日志的第一根因贡献度，确定该组件的第二根因贡献度，其中，第二根因贡献度用于表征组件为根因组件的概率，第二根因贡献度越大，对应组件为根因组件的概率越大。

步骤S104，基于每一组件的第二根因贡献度，确定根因组件。

具体地，根据每一组件的第二根因贡献度，从多个组件中确定出根因组件。

其中，可以将第二根因贡献度最大的组件作为根因组件；也可以按照第二根因贡献度从大到小的顺序对多个组件进行排序，将排序靠前的预设数量个组件作为根因组件。

此外，在确定根因组件之后，还可以确定出根因组件对应的异常日志，以供SRE或开发人员进行后续分析。

本申请实施例中，基于异常日志的异常指标，确定异常日志的第一根因贡献度，基于每一组件对应的异常日志的第一根因贡献度，确定每一组件的第二根因贡献度，基于每一组件的第二根因贡献度，从中筛选出根因组件，不依赖模型对异常日志进行分析，无需获取用于训练的大量标注数据，对于数据规模较小的应用系统，在应用系统异常时能够实现准确高效地异常根因定位，具有轻量、计算量较小、成本较低的特点，能够适应于不同的应用系统以及应用系统的频繁更新。

作为一种可选实施例，该方法中，异常指标包括异常时间次序、日志严重性评分、异常模板评分、异常关键词评分和模板增新变量。

具体地，异常时间次序用于表示异常日志在调用链中的时间先后顺序；日志严重性评分用于表示日志的严重程度；异常模板评分用于表示当异常日志的异常类型为异常模板时，异常日志对应的异常模板的严重程度；异常关键词评分用于表示当异常日志的异常类型为异常关键词时，异常日志对应的异常关键词的严重程度；模板增新变量用于表示异常日志的日志模板是否与已有的日志模板不同。

表1给出了多个异常日志的一种示例，下面结合表1对各个异常指标的计算方法进行说明。

表1

作为一种可选实施例，针对异常指标中的异常时间次序，所述确定所述异常日志的异常指标，包括：

基于异常日志的日志生成时间、异常日志对应调用链的起始时间，以及调用链的消耗时间，确定异常时间次序。

具体地，在响应用户的服务请求的过程中，可能会调用应用系统中的多个组件，在同一调用链中，发生时间在前的异常日志与系统异常的根因相关的可能性越大。

基于异常日志的日志生成时间、异常日志对应调用链的起始时间，以及调用链的消耗时间，可以计算出异常时间次序。

可选地，可以首先计算异常日志的日志生成时间与对应调用链的起始时间的差值，然后计算该差值与调用链的消耗时间的比值，将得到的比值作为异常时间次序。

作为一种可选实施例，针对异常指标中的日志严重性评分，所述确定所述异常日志的异常指标，包括：

基于异常日志的日志严重性级别，确定异常日志的日志严重性评分。

具体地，异常日志包括对应日志的日志严重性级别，日志严重性级别可以包括ERROR、INFO等，其中ERROR比INFO级别更高，即出现ERROR的异常日志比出现INFO的异常日志更严重。而日志严重程度越高的异常日志与系统异常的根因相关的可能性越大。

基于异常日志的日志严重性级别，确定异常日志的日志严重性评分，通过日志严重性评分从数值上反映出日志严重性级别的高低。其中，日志严重性评分与日志严重性级别可以呈正相关，即日志严重性级别越高，对应的日志严重性评分越高。

可选地，首先可以按照日志严重性级别的高低对各个级别进行编号，级别越高，对应序号的数值越大；然后确定出异常日志的日志严重性级别对应的序号；将该序号与严重性类型数量的比值作为日志严重性评分。

例如，日志严重性级别按照从高到低的顺序包括ERROR、WARN、INFO、DEBUG，各个级别对应的序号分别为4、3、2、1。当异常日志的日志严重性级别为ERROR，对应的日志严重性评分为4/4＝1。

作为一种可选实施例，针对异常指标中的异常模板评分，所述确定所述异常日志的异常指标，包括：

基于异常日志的异常模板和预设的第一对应关系，确定异常日志的异常模板对应的异常模板级别；

基于异常日志的异常模板级别，确定异常日志的异常模板评分。

具体地，当异常日志的异常类型为异常模板，异常模板的严重程度越高，与系统异常的根因相关的可能性越大。其中，异常模板可以为常见异常问题对应的日志模板。

为了反映出异常模板的严重程度，可以预先设置第一对应关系，第一对应关系可以为异常模板与异常模板级别之间的对应关系。

以表1为例，其中出现的异常模板与异常模板级别的对应关系可以为：

基于预设的第一对应关系，对异常日志的异常模板进行映射，得到对应的异常模板级别之后，进而基于异常模板级别，确定对应的异常模板评分，通过异常模板评分可以从数值上反映出异常模板级别的高低。其中，异常模板评分与异常模板级别可以呈正相关，即异常模板级别越高，对应的异常模板评分越高。

可选地，首先可以按照异常模板级别的高低对各个级别进行编号，级别越高，对应序号的数值越大；然后确定出异常日志的异常模板级别对应的序号；将该序号与严重性类型数量的比值作为异常模板评分。

作为一种可选实施例，针对异常指标中的异常关键词评分，所述确定所述异常日志的异常指标，包括：

基于异常日志的异常关键词和预设的第二对应关系，确定异常日志的异常关键词对应的异常关键词级别；

基于异常日志的异常关键词级别，确定异常日志的异常关键词评分。

具体地，当异常日志的异常类型为异常关键词，异常关键词的严重程度越高，与系统异常的根因相关的可能性越大。其中，异常关键词可以为常见异常问题对应的关键词。

为了反映出异常关键词的严重性程度，可以预先设置第二对应关系，第二对应关系可以为异常关键词与异常关键词级别之间的对应关系。例如，表1中第4个异常日志，异常类型为异常关键词，异常关键词“Stopped PostgreSQL RDBMS”对应的异常关键词级别为“Critical”。

基于预设的第二对应关系，对异常日志的异常关键词进行映射，得到对应的异常关键词级别之后，进而基于异常关键词级别，确定对应的异常关键词评分，通过异常关键词评分可以从数值上反映出异常关键词级别的高低。其中，异常关键词评分与异常关键词级别可以呈正相关，即异常关键词级别越高，对应的异常关键词评分越高。

可选地，首先可以按照异常关键词级别的高低对各个级别进行编号，级别越高，对应序号的数值越大；然后确定出异常日志的异常关键词级别对应的序号；将该序号与严重性类型数量的比值作为异常关键词评分。

作为一种可选实施例，针对异常指标为模板新增变量，所述确定所述异常日志的异常指标，包括：

若异常日志的日志模板与多个预设日志模板均不匹配，则将异常日志的模板增新变量设为1；

若异常日志的日志模板与多个预设日志模板中的任一预设日志模板相匹配，将异常日志的模板增新变量设为0。

具体地，当异常日志的日志模板与已有的日志模板均不相同时，该异常日志与系统异常根因相关的可能性更大。

首先确定多个预设日志模板，其中，预设日志模板可以为现有的常见的日志模板，可以通过对历史日志进行统计分析获取。

然后将异常日志的日志模板与多个预设日志模板进行匹配，若异常日志的日志模板与多个预设日志模板均不匹配，说明该异常日志的日志模板是新出现的，则可以将对应的模板增新变量设为1；若存在一个预设日志模板与异常日志的日志模板匹配，说明该异常日志的日志模板是现有的，则可以将对应的模板增新变量设为0。

例如，表1中第5个异常日志，异常类型为新模式，即该异常日志的日志模板是新出现的，该异常日志的模板增新变量为1。

作为一种可选实施例，图3为本申请实施例提供的第一根因贡献度确定方法的流程示意图，如图3所示，该方法包括：

步骤S201，确定每一异常指标对应的权重；

步骤S202，基于每一异常指标对应的权重，对各个异常指标进行加权，得到异常日志的第一根因贡献度。

具体地，异常日志的每一异常指标对于第一根因贡献度的影响程度不同，可以为每一异常指标设置对应的权重，然后将每一异常指标及其对应的权重进行加权求和，得到异常日志的第一根因贡献度。

可选地，第一根因贡献度rscore的计算公式如下：

rscore＝trace_time_score×w1+severity_score×w2+rare_score×w3+

template_score×w4+keyword_score×w5

式中，trace_time_score为异常时间次序，severity_score为日志严重性评分，rare_score为模板增新变量，template_score为异常模板评分，keyword_score为异常关键词评分；w1、w2、w3、w4和w5分别为各个指标对应的权重。优选地，w1可以为0.25、w2可以为0.25、w3可以为0.2、w4可以为0.15，w5可以为0.15。

以表1为例，表2可以为表1中多个异常日志的第一根因贡献度的计算结果。

表2

作为一种可选实施例，所述基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度，包括：

针对每一组件，将每一组件对应的至少一个异常日志的第一根因贡献度之和作为每一组件的第二根因贡献度；

或

将每一组件对应的至少一个异常日志的第一根因贡献度的平均值作为每一组件的第二根因贡献度。

具体地，为计算每一组件的第二根因贡献度，首先确定每一组件对应的至少一个异常日志。

可选地，可以基于异常日志的资源ID，确定该异常日志所属的组件，将同一资源ID的至少一个异常日志，作为该组件对应的至少一个异常日志。例如，表1中第4个异常日志与第5个异常日志的资源ID相同，即第4个异常日志与第5个异常日志对应同一个组件。

针对每一组件，可以将每一组件对应的至少一个异常日志的第一根因贡献度的平均值作为该组件的第二根因贡献度，也可以将每一组件对应的至少一个异常日志的第一根因贡献度之和作为该组件的第二根因贡献度。对于组件的第二根因贡献度的计算方法，可以根据不同的应用系统进行适应性选择。

图4为本申请实施例提供的一种数据处理装置的结构示意图，如图4所示，本实施例的装置可以包括：

异常日志获取模块301，用于获取应用系统异常时的多个异常日志；

第一根因贡献度确定模块302，用于针对每一异常日志，确定所述异常日志的异常指标；基于所述异常指标，确定所述异常日志的第一根因贡献度；其中，所述第一根因贡献度用于表征所述异常日志与应用系统异常的根因的关联程度；

第二根因贡献度确定模块303，用于从所述多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度；其中，所述第二根因贡献度用于表征所述组件为根因组件的概率；

根因组件确定模块304，用于基于每一组件的第二根因贡献度，确定根因组件。

作为一种可选实施例，该装置中所述异常指标包括异常时间次序、日志严重性评分、异常模板评分、异常关键词评分和模板增新变量。

作为一种可选实施例，第一根因贡献度确定模块还包括：

异常时间次序确定子模块，用于基于所述异常日志的日志生成时间、所述异常日志对应调用链的起始时间，以及所述调用链的消耗时间，确定所述异常时间次序。

作为一种可选实施例，第一根因贡献度确定模块还包括：

日志严重性评分确定子模块，用于基于所述异常日志的日志严重性级别，确定所述异常日志的日志严重性评分。

作为一种可选实施例，第一根因贡献度确定模块还包括：

异常模板评分确定子模块，用于基于所述异常日志的异常模板和预设的第一对应关系，确定所述异常日志的异常模板对应的异常模板级别；

基于所述异常日志的异常模板级别，确定所述异常日志的异常模板评分。

作为一种可选实施例，第一根因贡献度确定模块还包括：

异常关键词评分确定子模块，用于基于所述异常日志的异常关键词和预设的第二对应关系，确定所述异常日志的异常关键词对应的异常关键词级别；

基于所述异常日志的异常关键词级别，确定所述异常日志的异常关键词评分。

作为一种可选实施例，第一根因贡献度确定模块还包括：

模板增新变量确定子模块，用于若所述异常日志的日志模板与多个预设日志模板均不匹配，则将所述异常日志的模板增新变量设为1；

若所述异常日志的日志模板与所述多个预设日志模板中的任一预设日志模板相匹配，将所述异常日志的模板增新变量设为0。

作为一种可选实施例，第一根因贡献度模块，具体用于：

确定每一异常指标对应的权重；

基于每一异常指标对应的权重，对各个异常指标进行加权，得到所述异常日志的第一根因贡献度。

作为一种可选实施例，第二根因贡献度模块，具体用于：

针对每一组件，将每一组件对应的至少一个异常日志的第一根因贡献度之和作为每一组件的第二根因贡献度；

或

将每一组件对应的至少一个异常日志的第一根因贡献度的平均值作为每一组件的第二根因贡献度。

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现上述数据处理方法的步骤，与相关技术相比可实现：不依赖模型对异常日志进行分析，无需获取用于训练的大量标注数据，对于数据规模较小的应用系统，在应用系统异常时能够实现准确高效地异常根因定位，具有轻量、计算量较小、成本较低的特点，能够适应于不同的应用系统以及应用系统的频繁更新。

在一个可选实施例中提供了一种电子设备，如图5所示，图5所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。

存储器4003用于存储执行本申请实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (12)

1.一种数据处理方法，其特征在于，包括：

获取应用系统异常时的多个异常日志；

针对每一异常日志，确定所述异常日志的异常指标；基于所述异常指标，确定所述异常日志的第一根因贡献度；其中，所述第一根因贡献度用于表征所述异常日志与应用系统异常的根因的关联程度；

从所述多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度；其中，所述第二根因贡献度用于表征所述组件为根因组件的概率；

基于每一组件的第二根因贡献度，确定根因组件。

2.根据权利要求1所述的数据处理方法，其特征在于，所述异常指标包括异常时间次序、日志严重性评分、异常模板评分、异常关键词评分和模板增新变量。

3.根据权利要求2所述的数据处理方法，其特征在于，针对所述异常指标中的异常时间次序，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的日志生成时间、所述异常日志对应调用链的起始时间，以及所述调用链的消耗时间，确定所述异常时间次序。

4.根据权利要求2所述的数据处理方法，其特征在于，针对所述异常指标中的日志严重性评分，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的日志严重性级别，确定所述异常日志的日志严重性评分。

5.根据权利要求2所述的数据处理方法，其特征在于，针对所述异常指标中的异常模板评分，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的异常模板和预设的第一对应关系，确定所述异常日志的异常模板对应的异常模板级别；

基于所述异常日志的异常模板级别，确定所述异常日志的异常模板评分。

6.根据权利要求2所述的数据处理方法，其特征在于，针对所述异常指标中的异常关键词评分，所述确定所述异常日志的异常指标，包括：

基于所述异常日志的异常关键词和预设的第二对应关系，确定所述异常日志的异常关键词对应的异常关键词级别；

基于所述异常日志的异常关键词级别，确定所述异常日志的异常关键词评分。

7.根据权利要求2所述的数据处理方法，其特征在于，针对所述异常指标为模板新增变量，所述确定所述异常日志的异常指标，包括：

若所述异常日志的日志模板与多个预设日志模板均不匹配，则将所述异常日志的模板增新变量设为1；

若所述异常日志的日志模板与所述多个预设日志模板中的任一预设日志模板相匹配，将所述异常日志的模板增新变量设为0。

8.根据权利要求1至7中任一项所述的数据处理方法，其特征在于，所述基于所述异常指标，确定所述异常日志的第一根因贡献度，包括：

确定每一异常指标对应的权重；

基于每一异常指标对应的权重，对各个异常指标进行加权，得到所述异常日志的第一根因贡献度。

9.根据权利要求1至7中任一项所述的数据处理方法，其特征在于，所述基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度，包括：

针对每一组件，将每一组件对应的至少一个异常日志的第一根因贡献度之和作为每一组件的第二根因贡献度；

或

将每一组件对应的至少一个异常日志的第一根因贡献度的平均值作为每一组件的第二根因贡献度。

10.一种数据处理装置，其特征在于，包括：

异常日志获取模块，用于获取应用系统异常时的多个异常日志；

第一根因贡献度确定模块，用于针对每一异常日志，确定所述异常日志的异常指标；基于所述异常指标，确定所述异常日志的第一根因贡献度；其中，所述第一根因贡献度用于表征所述异常日志与应用系统异常的根因的关联程度；

第二根因贡献度确定模块，用于从所述多个异常日志中确定每一组件对应的至少一个异常日志，并基于每一组件对应的至少一个异常日志的第一根因贡献度，确定每一组件的第二根因贡献度；其中，所述第二根因贡献度用于表征所述组件为根因组件的概率；

根因组件确定模块，用于基于每一组件的第二根因贡献度，确定根因组件。

11.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。

Images