CN116149950A - 一种任务异常处理方法和装置 - Google Patents

Abstract

本发明公开了一种任务异常处理方法和装置，涉及智能化异常分析技术领域。该方法实施方式可包括：获取对应于任务的运行日志，并将运行日志拆分成多个日志块；从预先构建出的异常树所包括的多个异常层级以及每一个异常层级包括的至少一种异常类别，为多个日志块匹配出第一异常类别；根据预先为每一种异常类别配置的异常原因，为多个日志块确定出其所对应的第一异常类别配置的异常原因；将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方，以使任务管理方根据第一异常类别以及第一异常类别配置的异常原因，修复任务。该实施方式能够通过日志智能化分析任务异常，以及时发现和处理异常任务。

Description

一种任务异常处理方法和装置

技术领域

本发明涉及智能化异常分析技术领域，尤其涉及一种任务异常处理方法和装置。

背景技术

目前，在数据处理过程中，涉及各种数据处理任务的执行，任何一个数据处理任务异常均会造成数据处理出现问题。比如，数据库或者数据仓库主要涉及抽取、转换、假造、推送等数据处理任务以及各个数据处理任务构成的数据处理链路，其通过各个独立的数据处理任务或者数据处理链路对数据进行处理。任何一个数据处理任务出现问题，均会导致数据库或数据仓库的数据处理异常。因此，需要对出现问题的任务进行分析和修复，才能保证数据处理过程正常。

目前主要通过人工分析日志的方式，来定位存在问题的任务以及产生问题的原因。但是人工分析需要花费比较长的时间，导致需要花费比较高的人力成本，且任务异常处理时效性较差。

发明内容

有鉴于此，本发明实施例提供一种任务异常处理方法和装置，能够通过日志智能化分析任务异常，以及时发现和处理异常任务，从而保证任务异常处理时效性，降低人工分析任务异常的成本。

为实现上述目的，第一方面，本发明实施例提供了一种任务异常处理方法，包括：

获取对应于任务的运行日志，并将所述运行日志拆分成多个日志块；

从预先构建出的异常树所包括的多个异常层级以及每一个所述异常层级包括的至少一种异常类别，为所述日志块匹配出第一异常类别；

根据预先为每一种异常类别配置的异常原因，为所述日志块确定出其所对应的第一异常类别配置的异常原因；

将所述第一异常类别以及所述第一异常类别配置的异常原因提供给任务管理方，以使所述任务管理方根据所述第一异常类别以及所述第一异常类别配置的异常原因，修复所述任务。

可选地，所述将所述运行日志拆分成多个日志块，包括：

根据所述运行日志包括的多个日志记录时间，确定位于每相邻两个所述日志记录时间之间的日志文本为一个日志块。

可选地，所述异常树所包括的多个异常层级中的起始异常层级所包括的每一种异常类别是通过对历史运行日志聚类得到；

针对除所述起始异常层级之外的每一个其他异常层级，所述其他异常层级所包括的每一种异常类别是通过对所述其他异常层级对应的上一异常层级包括的多种异常类别聚类得到。

可选地，每一个所述异常层级设置有对应的异常相似阈值；

所述为所述日志块匹配出第一异常类别，包括：

针对每一个所述日志块，执行下述操作：

从所述日志块中获取用于聚类的核心信息；

计算所述核心信息与多个所述异常层级包括的异常类别之间的相似度；

根据所述相似度和所述异常层级设置的异常相似阈值，筛选出匹配于所述日志块的第一异常类别。

可选地，所述计算所述核心信息与多个所述异常层级包括的异常类别之间的相似度，包括：

对所述核心信息进行分词处理，得到一个或多个词组；并在任一所述异常层级作为当前异常层级的情况下，执行下述操作：

根据一个或多个所述词组和所述当前异常层级包括的异常类别，计算字符串最大长度以及所述核心信息的最长子串长度；

利用所述字符串最大长度以及所述核心信息的最长子串长度，计算所述核心信息与所述前异常层级包括的异常类别之间的相似度。

可选地，所述筛选出匹配于所述日志块的第一异常类别，包括：

针对多个所述异常层级循环执行下述操作N1至N3：

N1：从多个所述异常层级中，为所述核心信息定位当前异常层级；

N2：在所述当前异常层级中，搜索第二异常类别，其中，所述第二异常类别与所述核心信息的相似度大于或等于所述当前异常层级对应的异常相似阈值；

N3：根据所述日志块的核心信息与所述第二异常类别，生成临时异常类别；

N4：将所述临时异常类别与所述第二异常类别进行对比；如果对比的结果指示所述临时异常类别与所述第二异常类别一致，则执行N5；如果对比的结果指示所述临时异常类别与所述第二异常类别不一致，则执行N6；

N5：确定所述第二异常类别为匹配于所述日志块的第一异常类别，删除所述临时异常类别，结束流程并结束循环；

N6：将所述当前异常层级对应的下一异常层级作为当前异常层级，并执行操作N1。

可选地，所述生成临时异常类别包括：

针对所述当前异常层级为初始异常层级的情况，对所述日志块的核心信息和所述初始异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别；

针对所述当前异常层级为除所述初始异常层级之外的其他异常层级的情况，确定所述其他异常层级对应的上一异常层级对应的临时异常类别，对所述上一异常层级对应的临时异常类别和所述当前异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别。

可选地，所述搜索第二异常类别之后，在所述生成临时异常类别之前，还包括：

在未搜索第二异常类别的情况下，直接将所述当前异常层级对应的下一异常层级作为当前异常层级，并再次执行所述从多个所述异常层级中，为所述核心信息定位当前异常层级的步骤。

可选地，在所述搜索第二异常类别之后，还包括：

如果未搜索到所述第二异常类别，为所述核心信息生成新的异常类别，并将所述新的异常类别添加到所述当前异常层级。

可选地，在所述将所述临时异常类别与所述第二异常类别进行对比之后，还包括：

如果对比的结果指示所述临时异常类别与所述第二异常类别不一致，将所述临时异常类别添加到所述当前异常层级。

可选地，在所述将所述当前异常层级对应的下一异常层级作为当前异常层级之前，还包括：

在对比的结果指示所述临时异常类别与所述第二异常类别不一致的情况下，

判断所述当前异常层级是否为所述异常树的最高层级，如果是，则结束当前流程，否则，执行所述将所述当前异常层级对应的下一异常层级作为当前异常层级的步骤。

可选地，所述为所述核心信息生成新的异常类别，包括：

直接确定所述核心信息为新的异常类别。

可选地，所述为所述核心信息生成新的异常类别，包括：

针对所述当前异常层级为除初始异常层级之外的其他异常层级的情况，

确定所述其他异常层级对应的上一异常层级；

对所述上一异常层级生成的临时异常类别和所述上一异常层级原来包括的异常类别进行聚合处理，为所述其他异常层级形成新的异常类别。

可选地，在所述将所述运行日志拆分成多个日志块之后，在所述为所述日志块匹配出第一异常类别之前，进一步包括：

根据预设的日志格式，将每一个所述日志块进行格式化处理；

所述从所述日志块中获取用于聚类的核心信息，包括：

根据预设的日志块的核心特征，从格式化处理后的日志块中抽取出核心信息。

可选地，上述任务异常处理方法，还包括：

利用历史运行日志包括的多个历史日志块，构建包括多个异常层级的异常树。

可选地，所述构建包括多个异常层级的异常树，包括：

根据初始异常层级设置的异常相似阈值，对多个所述历史日志块进行聚类，形成多个包含有至少一个历史日志块的第一聚类簇；

针对每一个所述第一聚类簇，根据所述第一聚类簇包括的每一个历史日志块包括的核心信息，为所述初始异常层级生成异常类别；

针对除所述初始异常层级之外的每一个其他异常层级，执行下述操作：

所述其他异常层级对应的上一异常层级包括有至少两种异常类别的情况下，对上一异常层级包括有至少两种异常类别进行聚类；

在聚类出满足所述其他异常层级设置的异常相似阈值的第二聚类簇的情况下，根据所述第二聚类簇包括的至少两种异常类别，为所述其他异常层级生成异常类别。

可选地，上述任务异常处理方法，还包括：为每一种所述异常类别配置异常关键词；

所述将所述第一异常类别以及所述第一异常类别配置的异常原因提供给任务管理方，包括：

将所述第一异常类别配置的异常关键词以及所述第一异常类别配置的异常原因提供给任务管理方。

可选地，上述任务异常处理方法，还包括：为每一种所述异常类别配置修复方案；

将所述第一异常类别配置的修复方案提供给任务管理方，或者，直接利用所述修复方案对所述任务进行修复。

第二方面，本发明实施例提供一种任务异常处理装置，包括：

日志处理模块、异常搜索模块以及交互模块，其中，

所述日志处理模块，用于获取对应于任务的运行日志，并将所述运行日志拆分成多个日志块；

所述异常搜索模块，用于从预先构建出的异常树所包括的多个异常层级以及每一个所述异常层级包括的至少一种异常类别，为所述日志块匹配出第一异常类别；根据预先为每一种异常类别配置的异常原因，为所述日志块确定出其所对应的第一异常类别配置的异常原因；

所述交互模块，用于将所述第一异常类别以及所述第一异常类别配置的异常原因提供给任务管理方，以使所述任务管理方根据所述第一异常类别以及所述第一异常类别配置的异常原因，修复所述任务。

上述发明中的一个实施例具有如下优点或有益效果：通过从预先构建出的异常树所包括的多个异常层级以及每一个异常层级包括的至少一种异常类别，为运行日志拆分出的多个日志块匹配出第一异常类别，并根据预先为每一种异常类别配置的异常原因，为多个日志块确定出其所对应的第一异常类别配置的异常原因，实现通过日志智能化分析出任务异常的异常类别和异常原因，以及时发现任务出现异常，保证任务异常发现的时效性，整个过程无需人工分析日志等信息，有效地降低了异常任务的人工成本。

进一步地，通过将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方，以使任务管理方根据第一异常类别以及第一异常类别配置的异常原因，修复任务，使异常任务能够及时修复，保证异常任务识别和修复的时效性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的任务异常处理方法的主要流程的示意图；

图2是根据本发明实施例的计算核心信息与多个异常层级包括的异常类别之间的相似度的主要流程的示意图；

图3是根据本发明实施例的筛选出匹配于日志块的第一异常类别的主要流程示意图；

图4是根据本发明实施例的构建包括多个异常层级的异常树的主要流程示意图；

图5A是根据本发明一个实施例的为任务异常处理方法的主要流程示意图；

图5B是根据本发明实施例的异常树的结构示意图；

图6是根据本发明又一个实施例的实施例提供的技术方案的框架的主要流程示意图；

图7是根据本发明例的任务异常处理装置的主要模块的示意图；

图8是本发明实施例可以应用于其中的示例性系统架构图；

图9是适于用来实现本发明实施例的终端设备或者服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的一种任务异常处理方法的主要流程示意图。如图1所示，该任务异常处理方法可包括如下步骤：

步骤S101：获取对应于任务的运行日志，并将运行日志拆分成多个日志块；

其中，运行日志是指数据库或者数据仓库中的数据处理任务(比如抽取、转换、假造、推送等数据处理任务)过程所产生的日志。

步骤S102：从预先构建出的异常树所包括的多个异常层级以及每一个异常层级包括的至少一种异常类别，为多个日志块匹配出第一异常类别；

该异常类别可以是某一个日志块的核心信息，也可以是对多个日志块聚类得到的多个日志块的模板或者模式(该模板或者模式能够体现出日志块的异常核心)。比如，某一个日志块为：2022-08-24T09:08:25.173+08:00][INFO]plumber.reader.mysql-reader.invoke(logging.clj 272)[clojure-agent-send-off-pool-2]:MySQL数据库异常信息如下：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failure，则在异构树中存在一种异常类别：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failure。

其中，第一异常类别和第二异常类别中的“第一”和“第二”是为了区分不同阶段或者不同步骤得到的异常类别，其并不是对异常类别本身的限定。

步骤S103：根据预先为每一种异常类别配置的异常原因，为多个日志块确定出其所对应的第一异常类别配置的异常原因；

比如，为异常类别：com.mysql.jdbc.exceptions.jdbc4.Commun-icationsException:Communications link failure配置的异常原因：数据库链接异常。

步骤S104：将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方，以使任务管理方根据第一异常类别以及第一异常类别配置的异常原因，修复任务。

在图1所示的实施例中，通过从预先构建出的异常树所包括的多个异常层级以及每一个异常层级包括的至少一种异常类别，为运行日志拆分出的多个日志块匹配出第一异常类别，并根据预先为每一种异常类别配置的异常原因，为多个日志块确定出其所对应的第一异常类别配置的异常原因，实现通过日志智能化分析出任务异常的异常类别和异常原因，以及时发现任务出现异常，保证任务异常发现的时效性，整个过程无需人工分析日志等信息，有效地降低了异常任务的人工成本。

进一步地，通过将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方，以使任务管理方根据第一异常类别以及第一异常类别配置的异常原因，修复任务，使异常任务能够及时修复，保证异常任务识别和修复的时效性。

其中，上述步骤S101的一种具体实施方式可包括：根据运行日志包括的多个日志记录时间，确定位于每相邻两个日志记录时间之间的日志文本为一个日志块。通过确定位于每相邻两个日志记录时间之间的日志文本为一个日志块，以保证异常类别识别的准确性和完整性。

进一步地，上述异常树所包括的多个异常层级中的起始异常层级(如图5B所示的初始异常层级)所包括的每一种异常类别是通过对历史运行日志聚类得到；针对除起始异常层级之外的每一个其他异常层级(如图5B所示的二级异常层级、三级异常层级、……、最高异常层级)，其他异常层级所包括的每一种异常类别是通过对其他异常层级对应的上一异常层级包括的多种异常类别聚类得到。比如图5B所示的异常树，针对二级异常层级，其对应的上一异常层级为初始异常层级，则二级异常层级的各个异常类别是通过对初始异常层级的各个异常类别聚类得到；针对三级异常层级，其对应的上一异常层级为二级异常层级，则三级异常层级的各个异常类别是通过对二级异常层级的各个异常类别聚类得到。通过该异常树，使大部分异常类别均聚类在该异常树内，以有效地提高智能化识别任务异常类别，并保证识别出的任务的异常类别的准确性。

进一步地，每一个异常层级设置有对应的异常相似阈值；比如图5B所示的各个异常层级中，设置初始异常层级的异常相似阈值为75％，二级异常层级的异常相似阈值为65％，三级异常层级的异常相似阈值为45％，……，最高级异常层级的异常相似阈值为5％等。即异常树的各个异常层级设置的异常相似阈值一般从低异常层级(图5B的初始异常层级)到高异常层级(如图5B的最高异常层级)顺次降低，即图5B的初始异常层级的异常相似阈值大于二级异常层级的异常相似阈值，二级异常层级的异常相似阈值大于三级异常层级的异常相似阈值，依此类推，通过该设置能够有效地为异常的任务检索到对应的异常类别以及异常原因。相应地，为多个日志块匹配出第一异常类别的具体实施方式可包括针对每一个日志块，执行下述操作：

从日志块中获取用于聚类的核心信息；计算核心信息与多个异常层级包括的异常类别之间的相似度；根据相似度和异常层级设置的异常相似阈值，筛选出匹配于日志块的第一异常类别。该核心信息可以根据用户预先定义的核心特征确定出。由于异常类别为某一个日志块的核心信息，也可以是对多个日志块聚类得到的多个日志块的模板或者模式(该模板或者模式能够体现出日志块的异常核心)，则通过相似度计算可以准确的筛选匹配的异常类别。

具体地，如图2所示，上述计算核心信息与多个异常层级包括的异常类别之间的相似度的具体实现可包括如下步骤：

步骤S201：对核心信息进行分词处理，得到一个或多个词组；

该分词处理是通过现有的分词工具实现，比如，针对核心信息MySQL数据库异常信息如下：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communicationslink failure，其对应的分词后的词组可以为：MySQL、数据库、异常信息、com、mysql、jdbc、exceptions、jdbc4、CommunicationsException、Communications link failure。

步骤S202：在任一异常层级作为当前异常层级的情况下，执行根据一个或多个词组和当前异常层级包括的异常类别，计算字符串最大长度以及核心信息的最长子串长度；

比如，图5B所示的初始异常层级中的异常类别11：com.mysql.jdbc.exceptions.jdbc2.ExtractException:Extract failure；图5B所示的初始异常层级中的异常类别12：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications linkfailure。

该计算字符串最大长度：可以为将分词得到的多个词组作为一个字符串，异常类别作为另一字符串，确定两个字符串包含的单词数量，确定单词数量最大值为字符串最大长度，比如，上述示例中，核心信息的单词数量为12(在核心信息中一个英文单词为一个单词，一个中文词组为一个单词，标点符号不计入)，异常类别11的单词数量为8，则针对核心信息与异常类别11，计算字符串最大长度为12；异常类别12的单词数量为9，则针对核心信息与异常类别12，计算字符串最大长度也为12。

该计算核心信息的最长子串长度的实现：确定核心信息的分词后的词组与异常类别之间连续重叠的单词的个数，比如，针对上述的示例中的核心信息与异常类别11之间的连续重叠的单词：com mysql jdbc exceptions，则核心信息的最长子串长度为4；又比如，针对上述的示例中的核心信息与异常类别12之间的连续重叠的单词：com mysql jdbcexceptions jdbc4 CommunicationsException Communications link failure，则核心信息的最长子串长度为9。

步骤S203：利用字符串最大长度以及核心信息的最长子串长度，计算核心信息与当前异常层级包括的异常类别之间的相似度。

该计算相似度可通过下述计算公式(1)计算得到。

其中，SSIM表示核心信息与前异常层级包括的异常类别之间的相似度；L_sum表示字符串最大长度；L_max表示异常类别之间的相似度；

则上述示例给出的核心信息与异常类别11之间的相似度为33％，核心信息与异常类别12之间的相似度为75％。由于初始异常层级的相似度阈值为75％，则针对上述核心信息，该异常类别12为满足相似度阈值的异常类别。

另外，上述筛选出匹配于日志块的第一异常类别的具体实现可包括：针对多个异常层级执行如图3所示的步骤S301至步骤S306：

步骤S301：从多个异常层级中，为核心信息定位当前异常层级；

针对初始筛选阶段，该定位当前异常层级实质是定位到初始异常层级。

步骤S302：在当前异常层级中，搜索第二异常类别，其中，第二异常类别与核心信息的相似度大于或等于当前异常层级对应的异常相似阈值；

比如，针对上述示例，该步骤搜索出的第二异常类别为图5B示出的异常类别12。

步骤S303：根据日志块的核心信息与第二异常类别，生成临时异常类别；

该生成临时异常类别是对日志块的核心信息与第二异常类别通过现有的聚类方式进行文本聚类，得到连续重叠的字符串，比如上述示例中，核心信息与异常类别12之间连续重叠的字符串com mysql jdbc exceptions jdbc4 CommunicationsExceptionCommunications link failure，然后，基于该连续重叠的字符串和核心信息、异常类别，进行回溯处理(即用*代替位置不同的字符)，得到两个字符串S_A和S_B，比如，利用连续重叠的字符串和上述核心信息回溯，得到***com mysql jdbc exceptions jdbc4CommunicationsException Communications link failure；利用连续重叠的字符串和上述异常类别12回溯得到的仍然为commysql jdbc exceptions jdbc4CommunicationsException Communications link failure。并根据上面确定出的字符串最大长度对应的字符串(比如上述示例的MySQL、数据库、异常信息、com、mysql、jdbc、exceptions、jdbc4、CommunicationsException、Communications link failure)，对两个字符串S_A和S_B中字符串较短的一个进行补齐长度，比如，上述回溯中异常类别12得到的回溯的字符串的长度较短，对异常类别12得到的回溯的字符串进行补齐得到***com mysqljdbc exceptions jdbc4CommunicationsException Communications link failure；然后，比较回溯得到的较长字符串(如上面得到的***com mysql jdbc exceptionsjdbc4CommunicationsException Communications link failure)与补齐后的较短字符串(如上面得到的***com mysql jdbc exceptions jdbc4CommunicationsExceptionCommunications link failure)字符串相同位置的字符是否一致，在所有字符串均一致的情况下，则确定字符串commysql jdbc exceptions jdbc4 CommunicationsExceptionCommunications link failure的临时异常类别。在字符串存在不一致的情况下，不一致的位置用*代替字符，得到临时异常类别，值得说明的是，上述对比过程字符串可以从后到前对比，得到的新的字符串可以为倒叙的字符串，则通过对倒叙的字符串反转，即得到临时异常类别，该临时异常类别是去除字符串中开头的*后得到的，即异常类别或者临时异常类别的第一个字符为字母，而在字符中间的*保留。

步骤S304：将临时异常类别与第二异常类别进行对比；如果对比的结果指示临时异常类别与第二异常类别一致，则执行步骤S305；如果对比的结果指示临时异常类别与第二异常类别不一致，则执行步骤S306；

步骤S305：确定第二异常类别为匹配于日志块的第一异常类别，删除临时异常类别，结束流程并结束循环；

步骤S306：将当前异常层级对应的下一异常层级作为当前异常层级，并执行步骤S301。

具体地，上述步骤S303的具体实施方式可包括：

针对当前异常层级为初始异常层级的情况，对日志块的核心信息和初始异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别；

该聚合处理过程在上面形成临时异常类别的过程已经详细说明，在此不再赘述。

针对当前异常层级为除初始异常层级之外的其他异常层级的情况，确定其他异常层级对应的上一异常层级对应的临时异常类别(该临时异常类别是核心信息与上一异常层级中满足上一异常层级的相似度阈值的异常类别聚合得到)，对上一异常层级对应的临时异常类别和当前异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别。值得说明的是，只有在当前异常层级未找到对应于日志块的核心信息的异常类别的情况下，才会查找当前异常层级对应的下一异常层级。

进一步地，针对图3所示的实施例，在上述步骤S302之后，在步骤S303之前，还包括：在上述步骤S302未搜索到第二异常类别的情况下，直接执行步骤S306。以保证在异常树中能够为任务定位到异常类别。

更进一步地，针对图3所示的实施例及与图3所示的实施例相关的实施例，在步骤S302之后，还包括：如果未搜索到第二异常类别，为核心信息生成新的异常类别，并将新的异常类别添加到当前异常层级。通过增加新的异常类别，实现动态扩展异常类别。

其中，为核心信息生成新的异常类别可以有两种具体实现方式。

具体地，为核心信息生成新的异常类别的第一种具体实现方式：直接确定核心信息为新的异常类别。

为核心信息生成新的异常类别的第二种具体实现方式：针对当前异常层级为除初始异常层级之外的其他异常层级的情况，确定其他异常层级对应的上一异常层级；对上一异常层级生成的临时异常类别和上一异常层级原来包括的异常类别进行聚合处理，为其他异常层级形成新的异常类别。

更进一步地，针对图3所示的实施例，在步骤S304之后，还包括：如果对比的结果指示临时异常类别与第二异常类别不一致，将临时异常类别添加到当前异常层级。通过该过程直接将临时异常类别作为新的异常类别添加到当前异常层级，以在为任务匹配异常类别过程中，动态扩展异常类别。

另外，针对图3所示的实施例，在步骤S306之前，还包括：在对比的结果指示临时异常类别与第二异常类别不一致的情况下，判断当前异常层级是否为异常树的最高层级，如果是，则结束当前流程，否则，执行S306。以避免在匹配异常类别过程中进入死循环，保证程序在位查找到异常类别的情况下也可以停止。

进一步地，在上述将运行日志拆分成多个日志块之后，在为日志块匹配出第一异常类别之前，还可进一步包括：根据预设的日志格式，将每一个日志块进行格式化处理；相应地，从日志块中获取用于聚类的核心信息的具体实施方式可包括：根据预设的日志块的核心特征，从格式化处理后的日志块中抽取出核心信息。通过格式化处理可以去掉运行日志中非必要的信息，以规范化日志，更有助于准确的抽取出核心信息。

进一步地，上述各个实施例提供的任务异常处理方法还可进一步包括：利用历史运行日志包括的多个历史日志块，构建包括多个异常层级的异常树。

具体地，如图4所示，该构建包括多个异常层级的异常树的具体实施方式可包括如下步骤：

步骤S401：根据初始异常层级设置的异常相似阈值，对多个历史日志块进行聚类，形成多个包含有至少一个历史日志块的第一聚类簇；

该聚类过程通过现有的文本聚类的方式实现。

步骤S402：针对每一个第一聚类簇，根据第一聚类簇包括的每一个历史日志块包括的核心信息，为初始异常层级生成异常类别；

即从第一聚类簇包括的各个历史日志块包括的核心信息抽取出核心信息模板(该核心信息模板是保留各个历史日志块包括的核心信息中相同的部分，并将差异的字符或单词用*代替，然后删除第一个单词之前的*得到)，将该核心信息模板作为异常类别。

步骤S403：针对除初始异常层级之外的每一个其他异常层级，执行下述操作：

步骤S4031：其他异常层级对应的上一异常层级包括有至少两种异常类别的情况下，对上一异常层级包括有至少两种异常类别进行聚类；

步骤S4032：在聚类出满足其他异常层级设置的异常相似阈值的第二聚类簇的情况下，根据第二聚类簇包括的至少两种异常类别，为其他异常层级生成异常类别。

其他异常层级的聚类过程和确定异常类别的过程与上面一致，在此不再赘述。

更进一步地，上述任务异常处理方法还包括：为每一种异常类别配置异常关键词；相应地，上述将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方的具体实施方式可包括：将第一异常类别配置的异常关键词以及第一异常类别配置的异常原因提供给任务管理方。通过配置异常关键词可以更方便任务管理方确定出任务异常情况。

更进一步地，上述任务异常处理方法还包括：为每一种异常类别配置修复方案；将第一异常类别配置的修复方案提供给任务管理方，或者，直接利用修复方案对任务进行修复。通过提供修复方案可以更方便任务管理方对异常的任务进行修复或者自动化对异常的任务进行修复。

图5A示出了本发明实施例提供的另一种任务异常处理方法的主要流程示意图。如图5A所示，该任务异常处理方法主要包括如下步骤：

步骤S501：确定日志格式、日志块的核心特征、每一个异常层级设置的异常相似阈值，分别提供给步骤S502和步骤S504；

该步骤可以是用户输入或者自定的日志格式、日志块的核心特征、异常层级数量、每一个异常层级设置的异常相似阈值等。

比如，定义的日志格式可以为：[<time>]<host><method><Content>。

步骤S502：构建包括多个异常层级的异常树，为步骤S505提供该异常树；

该步骤主要利用历史运行日志包括的多个历史日志块，构建包括多个异常层级的异常树。

具体地，根据初始异常层级设置的异常相似阈值，对多个历史日志块进行聚类，形成多个包含有至少一个历史日志块的第一聚类簇；比如，历史运行日志包括的历史日志块分别为Log block1、Log block2、Log block3、……、Log blockX，对多个历史日志块进行聚类主要是采用现有的文本聚类技术实现，其中，每一个第一聚类簇包括的各个历史日志块之间的相似度不低于该初始异常层级设置的异常相似阈值(比如异常相似阈值为95％)。通过聚类得到第一聚类簇分别为：聚类簇1、聚类簇2、聚类簇3、……、聚类簇N。针对每一个第一聚类簇，根据第一聚类簇包括的每一个历史日志块包括的核心信息，为初始异常层级生成异常类别；比如，针对聚类簇1、聚类簇2、聚类簇3、……、聚类簇N，分别得到图5B所示的初始异常层级中的异常类别11、异常类别12、异常类别13、……、异常类别1N、异常类别1N+1。

针对除初始异常层级之外的每一个其他异常层级(该每一个其他异常层级如图5B所示的二级异常层级、三级异常层级、……、最高异常层级)，执行下述操作：

其他异常层级对应的上一异常层级包括有至少两种异常类别的情况下，对上一异常层级包括有至少两种异常类别进行聚类；以图5B所示的二级异常层级为例，对二级异常层级的上一异常层级(即初级异常层级)的异常类别11、异常类别12、异常类别13、……、异常类别1N、异常类别1N+1采用现有的文本聚类技术进行聚类，以图5B所示的三级异常层级为例，对三级异常层级的上一异常层级(即二级异常层级)的异常类别21、异常类别22、异常类别23、……、异常类别2M采用现有的文本聚类技术进行聚类等。

在聚类出满足其他异常层级设置的异常相似阈值的第二聚类簇的情况下，根据第二聚类簇包括的至少两种异常类别，为其他异常层级生成异常类别。以图5B所示的二级异常层级为例，在为二级异常层级聚类出第二聚类簇(该第二聚类簇包括的各个异常类别之间的相似度不小于该二级异常层级设置的异常相似阈值，比如异常相似阈值为85％)，通过生成异常类别，得到图5B所示的二级异常层级中的异常类别21、异常类别22、异常类别23、……、异常类别2M。以图5B所示的三级异常层级为例，在为三级异常层级聚类出第二聚类簇(该第二聚类簇包括的各个异常类别之间的相似度不小于该三级异常层级设置的异常相似阈值，比如异常相似阈值为65％)，通过生成异常类别，得到图5B所示的三级异常层级中的异常类别31、异常类别32、异常类别33、……。

综上可知，异常树所包括的多个异常层级中的起始异常层级所包括的每一种异常类别是通过对历史运行日志聚类得到；针对除起始异常层级(值得说明的是，本发明实施例所涉及的起始异常层级即图5B所示的初始异常层级)之外的每一个其他异常层级(该每一个其他异常层级如图5B所示的二级异常层级、三级异常层级、……、最高异常层级)，其他异常层级所包括的每一种异常类别是通过对其他异常层级对应的上一异常层级包括的多种异常类别聚类得到。

另外，还可以为每一种异常类别配置异常关键词以及修复方案。

步骤S503：获取对应于任务的运行日志；

该获取的运行日志可以是用户输入的数据仓库或者数据库的运行日志，也可以是直接从日志管理端获取到的运行日志。

步骤S504：根据日志格式和日志块的核心特征，对运行日志进行预处理；

该预处理可通过下述步骤S5401至步骤S5403实现。

步骤S5041：对运行日志格式化处理；

该步骤首先根据运行日志包括的多个日志记录时间，确定位于每相邻两个日志记录时间之间的日志文本为一个日志块；然后，根据预设的日志格式，将每一个日志块进行格式化处理；

比如，一段运行日志如下：

[2022-08-24T09:08:25.173+08:00][INFO]plumber.reader.mysql-reader.invoke(logging.clj 272)[clojure-agent-send-off-pool-2]:MySQL数据库异常信息如下：

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failure

[2022-08-24T09:09:25.173+08:00]×××××××××××××××××。

其中，在日志记录时间[2022-08-24T09:08:25.173+08:00]与日志记录时间[2022-08-24T09:09:25.173+08:00]之间的日志段为一个日志块：

[2022-08-24T09:08:25.173+08:00][INFO]plumber.reader.mysql-reader.invoke(logging.clj 272)[clojure-agent-send-off-pool-2]:MySQL数据库异常信息如下：

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failure。

比如，根据上面定义的日志格式[<time>]<host><method><Content>，对日志块格式化得到：

time:2022-08-24T09:08:25.173+08:00

host:INFO

method:plumber.reader.mysql-reader.invoke(logging.clj 272)[clojure-agent-send-off-pool-2]:

Content:MySQL数据库异常信息如下：

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:

Communications link failure

其中，格式化处理过程主要是根据每一部分(<time>、<LEVEL>、<method>、<Content>)的截止符以及各个部分之间的先后关系得到各个部分的具体内容。比如，<time>是日志块中第1个中括号[]内的内容；又比如，Content为从文本“MySQL数据库”起始至日志块的最后字符为止等。值得说明的是，该格式化处理过程仅是一种示例，还可以以其他方式区分格式化的各个部分。

步骤S5042：格式化日志的核心信息提取；

根据预设的日志块的核心特征，从格式化处理后的日志块中抽取出核心信息。

比如，预设的日志块的核心特征为上述的<Content>，则可从上述示例性地给出的格式化处理后的日志块中抽取出核心信息：MySQL数据库异常信息如下：

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:

Communications link failure

步骤S5043：对核心信息进行分词处理；

通过该步骤的分词处理可得到一个或多个词组；该分词过程可以采用现有的分词工具实现，在此不再赘述。

值得说明的是，上述步骤S5401至步骤S5403针对每一个日志块执行。

步骤S505：对核心信息与异常树包括的多个异常层级进行多层级聚类处理；

具体地，针对聚类处理，在任一异常层级作为当前异常层级的情况下，执行下述操作：

步骤S5051：判断当前异常层级是否存在异常类别，如果是，则执行步骤S5052；否则，执行步骤S5053；

以图5B所示的异常树为例，首先以初始异常层级作为当前异常层级，在未在初始异常层级匹配到异常类别的情况下，则以二级异常层级作为当前异常层级，在未在二级异常层级匹配到异常类别的情况下，则以三级异常层级作为当前异常层级，依此递归处理。

步骤S5052：计算核心信息与异常类别之间的相似度，并执行步骤S5054；

该计算相似度的具体实现：

根据一个或多个词组和当前异常层级包括的异常类别，计算字符串最大长度以及核心信息的最长子串长度；

该最长子串长度是指核心信息与异常类别之间存在连续重叠的字符长度或者连续重叠的单词个数。

利用字符串最大长度以及核心信息的最长子串长度，计算核心信息与前异常层级包括的异常类别之间的相似度。

该计算过程在上面已经陈述，在此不再赘述。

步骤S5053：为核心信息生成新的异常类别，并分别执行步骤S5056和步骤S506；

步骤S5054：判断相似度是否满足异常相似阈值，如果是，则执行步骤S5055；否则，执行步骤S5053；

该步骤主要通过将相似度与异常相似阈值进行对比，如果相似度小于异常相似阈值，则确定相似度不满足异常相似阈值；如果相似度大于或等于异常相似阈值，则确定相似度满足异常相似阈值。

步骤S5055：为核心信息确定异常类别以及对应于该异常类别的异常原因，并结束当前流程；

该步骤S5055具体实施方式可包括：根据日志块的核心信息与相似度满足异常相似阈值的异常类别，生成临时异常类别；具体地，针对当前异常层级为初始异常层级的情况，对日志块的核心信息和初始异常层级搜索出的相似度满足异常相似阈值的异常类别进行聚合处理，形成临时异常类别；针对当前异常层级为除初始异常层级之外的其他异常层级的情况，确定其他异常层级对应的上一异常层级对应的临时异常类别，对上一异常层级对应的临时异常类别和当前异常层级搜索出的相似度满足异常相似阈值的异常类别进行聚合处理，形成临时异常类别。比如，核心信息与图5B所示的异常类别13的相似度满足初级异常层级的异常相似阈值，则将核心信息与异常类别13聚合，得到临时异常类别；又比如，核心信息与图5B所示的异常类别23的相似度满足二级异常层级的异常相似阈值，确定该二级异常层级对应的上一异常层级对应的临时异常类别(该临时异常类别是核心信息或者核心信息与二级异常层级对应的上一异常层级中的异常类别聚类得到的)，对上一异常层级对应的临时异常类别和当前异常层级搜索出的相似度满足异常相似阈值的异常类别进行聚合处理，形成临时异常类别。

将临时异常类别与相似度满足异常相似阈值的异常类别进行对比；

如果对比的结果指示临时异常类别与相似度满足异常相似阈值的异常类别一致，则确定相似度满足异常相似阈值的异常类别为匹配于日志块的第一异常类别，删除临时异常类别；如果对比的结果指示临时异常类别与相似度满足异常相似阈值的异常类别不一致，则为核心信息生成新的异常类别，并将新的异常类别添加到当前异常层级。

另外，还可以根据预先为每一种异常类别配置的异常原因和异常关键词，为多个日志块确定出其所对应的第一异常类别配置的异常原因和异常关键词；将第一异常类别配置的异常关键词以及第一异常类别配置的异常原因提供给任务管理方。

进一步地，还可以配置修复方案，将第一异常类别配置的修复方案提供给任务管理方，或者，直接利用修复方案对任务进行修复。

步骤S5056：判断当前异常层级是否为异常树的最高层级，如果是，则结束当前流程，否则，执行步骤S5057；

其中，最高层级即图5B所示的最高异常层级。

步骤S5057：将当前异常层级对应的下一异常层级作为当前异常层级，并执行步骤S5051；

步骤S506：异常类别更新；

步骤S5061：为异常树的当前异常层级提取新的异常类别；

该步骤的具体实现：

针对当前异常层级为初始异常层级的情况，直接确定核心信息为新的异常类别；

针对当前异常层级为除初始异常层级之外的其他异常层级的情况，确定其他异常层级对应的上一异常层级；对上一异常层级生成的临时异常类别和上一异常层级原来包括的异常类别进行聚合处理，为其他异常层级形成新的异常类别。

步骤S5062：判断异常树的异常类别是否有变化，如果是，则执行步骤S5063；否则，结束当前流程；

步骤S5063：将当前异常层级的下一异常层级作为当前异常层级，执行步骤S5061。

值得说明的是，上述异常类别更新是通过递归方式为各个异常层级更新。

通过上述过程实现智能化确定出任务异常，并为异常树新增异常类别，以丰富任务异常的类别，以进一步提高任务异常识别的准确性。

综上，如图6所示，本发明实施例提供的技术方案的框架主要包括：步骤S601：用户输入定义的日志格式、定义的日志核心信息、层级数量以及各层级的异常相似阈值以及获取输入的日志；步骤S602：日志预处理；步骤S603：日志的核心信息与多层级聚类，得到任务异常类别；步骤S604：提取并更新各个层级的新增异常类别。整个过程只需要用户定义日志格式、日志核心信息、层级数量以及各层级的异常相似阈值，而任务异常识别过程以及新增任务异常过程均无需用户参与，实现智能化识别任务异常以及更新任务异常类别，并有效地降低了人工成本。

图7是本发明实施例提供的一种任务异常处理装置的结构示意图。如图7所示，该任务异常处理装置700可包括：日志处理模块701、异常搜索模块702以及交互模块703，其中，

日志处理模块701，用于获取对应于任务的运行日志，并将运行日志拆分成多个日志块；

异常搜索模块702，用于从预先构建出的异常树所包括的多个异常层级以及每一个异常层级包括的至少一种异常类别，为日志块匹配出第一异常类别；根据预先为每一种异常类别配置的异常原因，为日志块确定出其所对应的第一异常类别配置的异常原因；

交互模块703，用于将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方，以使任务管理方根据第一异常类别以及第一异常类别配置的异常原因，修复任务。

在本发明实施例中，日志处理模块701，进一步用于根据运行日志包括的多个日志记录时间，确定位于每相邻两个日志记录时间之间的日志文本为一个日志块。

在本发明实施例中，异常树所包括的多个异常层级中的起始异常层级所包括的每一种异常类别是通过对历史运行日志聚类得到；针对除起始异常层级之外的每一个其他异常层级，其他异常层级所包括的每一种异常类别是通过对其他异常层级对应的上一异常层级包括的多种异常类别聚类得到。

在本发明实施例中，每一个异常层级设置有对应的异常相似阈值；异常搜索模块702，进一步用于针对每一个日志块，执行从日志块中获取用于聚类的核心信息；计算核心信息与多个异常层级包括的异常类别之间的相似度；根据相似度和异常层级设置的异常相似阈值，筛选出匹配于日志块的第一异常类别。

在本发明实施例中，异常搜索模块702，进一步用于对核心信息进行分词处理，得到一个或多个词组；并在任一异常层级作为当前异常层级的情况下，执行根据一个或多个词组和当前异常层级包括的异常类别，计算字符串最大长度以及核心信息的最长子串长度；利用字符串最大长度以及核心信息的最长子串长度，计算核心信息与前异常层级包括的异常类别之间的相似度。

在本发明实施例中，异常搜索模块702，进一步用于针对多个异常层级循环执行下述操作N1至N6：

N1：从多个异常层级中，为核心信息定位当前异常层级；

N2：在当前异常层级中，搜索第二异常类别，其中，第二异常类别与核心信息的相似度大于或等于当前异常层级对应的异常相似阈值；

N3：根据日志块的核心信息与第二异常类别，生成临时异常类别；

N4：将临时异常类别与第二异常类别进行对比；如果对比的结果指示临时异常类别与第二异常类别一致，则执行N5；如果对比的结果指示临时异常类别与第二异常类别不一致，则执行N6；

N5：确定第二异常类别为匹配于日志块的第一异常类别，删除临时异常类别，结束流程并结束循环；

N6：将当前异常层级对应的下一异常层级作为当前异常层级，并执行操作N1。

在本发明实施例中，异常搜索模块702，进一步用于针对当前异常层级为初始异常层级的情况，对日志块的核心信息和初始异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别；针对当前异常层级为除初始异常层级之外的其他异常层级的情况，确定其他异常层级对应的上一异常层级对应的临时异常类别，对上一异常层级对应的临时异常类别和当前异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别。

在本发明实施例中，异常搜索模块702，进一步用于在N2未搜索第二异常类别的情况下，直接执行N6。

在本发明实施例中，异常搜索模块702，进一步用于如果未搜索到第二异常类别，为核心信息生成新的异常类别，并将新的异常类别添加到当前异常层级。

在本发明实施例中，异常搜索模块702，进一步用于如果对比的结果指示临时异常类别与第二异常类别不一致，将临时异常类别添加到当前异常层级。

在本发明实施例中，异常搜索模块702，进一步用于在对比的结果指示临时异常类别与第二异常类别不一致的情况下，判断当前异常层级是否为异常树的最高层级，如果是，则结束当前流程，否则，执行N6。

在本发明实施例中，异常搜索模块702，进一步用于在为核心信息生成新的异常类别的过程中，直接确定核心信息为新的异常类别。

在本发明实施例中，异常搜索模块702，进一步用于在为核心信息生成新的异常类别的过程中，针对当前异常层级为除初始异常层级之外的其他异常层级的情况，确定其他异常层级对应的上一异常层级；对上一异常层级生成的临时异常类别和上一异常层级原来包括的异常类别进行聚合处理，为其他异常层级形成新的异常类别。

在本发明实施例中，日志处理模块701，进一步用于根据预设的日志格式，将每一个日志块进行格式化处理；根据预设的日志块的核心特征，从格式化处理后的日志块中抽取出核心信息。

在本发明实施例中，如图7所示，任务异常处理装置700可进一步包括：异常树构建模块704，其中，

异常树构建模块704，用于利用历史运行日志包括的多个历史日志块，构建包括多个异常层级的异常树。

在本发明实施例中，异常树构建模块704，进一步用于根据初始异常层级设置的异常相似阈值，对多个历史日志块进行聚类，形成多个包含有至少一个历史日志块的第一聚类簇；针对每一个第一聚类簇，根据第一聚类簇包括的每一个历史日志块包括的核心信息，为初始异常层级生成异常类别；针对除初始异常层级之外的每一个其他异常层级，执行下述操作：其他异常层级对应的上一异常层级包括有至少两种异常类别的情况下，对上一异常层级包括有至少两种异常类别进行聚类；在聚类出满足其他异常层级设置的异常相似阈值的第二聚类簇的情况下，根据第二聚类簇包括的至少两种异常类别，为其他异常层级生成异常类别。

在本发明实施例中，每一种异常类别配置有异常关键词；

交互模块703，进一步用于将第一异常类别配置的异常关键词以及第一异常类别配置的异常原因提供给任务管理方。

在本发明实施例中，每一种异常类别配置有修复方案；

交互模块703，进一步用于将第一异常类别配置的修复方案提供给任务管理方。

在本发明实施例中，如图7所示，任务异常处理装置700可进一步包括：异常修复模块705，其中，

异常修复模块705，用于直接利用异常类别配置的修复方案对任务进行修复。

图8示出了可以应用本发明实施例的任务异常处理方法或任务异常处理装置的示例性系统架构800。

如图8所示，系统架构800可以包括终端设备801、802，网络803，日志记录服务器804，数据仓库805，数据库806和服务器807。网络803用以在终端设备801、802和服务器807之间、日志记录服务器804和数据仓库805之间、日志记录服务器804和数据库806之间、日志记录服务器804和服务器807之间、数据仓库805和服务器807之间、数据库806和服务器807之间提供通信链路的介质。网络803可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备801、802通过网络803与服务器807交互，以通过终端设备801、802接收服务器807提供的异常类别和异常原因等。终端设备801、802上可以安装有各种应用，例如网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

日志记录服务器804可以是提供各种服务的服务器，例如对数据仓库805和数据库806的运行日志统一管理提供支持的后台管理服务器(仅为示例)。

数据仓库805和数据库806是为数据处理提供各种服务的服务器，例如对数据进行抽取、转换、假造、推送等处理，并对处理前和处理后的数据进行存储(仅为示例)。

服务器807可以是提供各种服务的服务器，例如对日志分析以及任务异常分析提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对日志记录服务器804记录的日志进行处理和分析，并将处理和分析结果(例如任务的异常类别和异常原因--仅为示例)提供给终端设备801、802。

终端设备801、802可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于台式机、智能手机、平板电脑等等。

需要说明的是，本发明实施例所提供的任务异常处理方法一般由服务器807执行，相应地，任务异常处理装置一般设置于服务器807中。

应该理解，图8中的终端设备、网络、日志记录服务器、数据仓库、数据库和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、日志记录服务器、数据仓库、数据库和服务器。

下面参考图9，其示出了适于用来实现本发明实施例的终端设备或者服务器的计算机系统900的结构示意图。图9示出的终端设备或者服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括日志处理模块、异常搜索模块以及交互模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，日志处理模块还可以被描述为“将运行日志拆分成多个日志块的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取对应于任务的运行日志，并将运行日志拆分成多个日志块；从预先构建出的异常树所包括的多个异常层级以及每一个异常层级包括的至少一种异常类别，为多个日志块匹配出第一异常类别；根据预先为每一种异常类别配置的异常原因，为多个日志块确定出其所对应的第一异常类别配置的异常原因；将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方，以使任务管理方根据第一异常类别以及第一异常类别配置的异常原因，修复任务。

根据本发明实施例的技术方案，通过从预先构建出的异常树所包括的多个异常层级以及每一个异常层级包括的至少一种异常类别，为运行日志拆分出的多个日志块匹配出第一异常类别，并根据预先为每一种异常类别配置的异常原因，为多个日志块确定出其所对应的第一异常类别配置的异常原因，实现通过日志智能化分析出任务异常的异常类别和异常原因，以及时发现任务出现异常，保证任务异常发现的时效性，整个过程无需人工分析日志等信息，有效地降低了异常任务的人工成本。

进一步地，通过将第一异常类别以及第一异常类别配置的异常原因提供给任务管理方，以使任务管理方根据第一异常类别以及第一异常类别配置的异常原因，修复任务，使异常任务能够及时修复，保证异常任务识别和修复的时效性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种任务异常处理方法，其特征在于，包括：

获取对应于任务的运行日志，并将所述运行日志拆分成多个日志块；

从预先构建出的异常树所包括的多个异常层级以及每一个所述异常层级包括的至少一种异常类别，为多个所述日志块匹配出第一异常类别；

根据预先为每一种异常类别配置的异常原因，为多个所述日志块确定出其所对应的第一异常类别配置的异常原因；

将所述第一异常类别以及所述第一异常类别配置的异常原因提供给任务管理方，以使所述任务管理方根据所述第一异常类别以及所述第一异常类别配置的异常原因，修复所述任务。

2.根据权利要求1所述的任务异常处理方法，其特征在于，

所述将所述运行日志拆分成多个日志块，包括：根据所述运行日志包括的多个日志记录时间，确定位于每相邻两个所述日志记录时间之间的日志文本为一个日志块；

和/或，

所述异常树所包括的多个异常层级中的起始异常层级所包括的每一种异常类别是通过对历史运行日志聚类得到；

针对除所述起始异常层级之外的每一个其他异常层级，所述其他异常层级所包括的每一种异常类别是通过对所述其他异常层级对应的上一异常层级包括的多种异常类别聚类得到。

3.根据权利要求1所述的任务异常处理方法，其特征在于，

每一个所述异常层级设置有对应的异常相似阈值；

所述为多个所述日志块匹配出第一异常类别，包括：

针对每一个所述日志块，执行下述操作：

从所述日志块中获取用于聚类的核心信息；

计算所述核心信息与多个所述异常层级包括的异常类别之间的相似度；

根据所述相似度和所述异常层级设置的异常相似阈值，筛选出匹配于所述日志块的第一异常类别。

4.根据权利要求3所述的任务异常处理方法，其特征在于，

所述计算所述核心信息与多个所述异常层级包括的异常类别之间的相似度，包括：

对所述核心信息进行分词处理，得到一个或多个词组；并在任一所述异常层级作为当前异常层级的情况下，执行下述操作：

根据一个或多个所述词组和所述当前异常层级包括的异常类别，计算字符串最大长度以及所述核心信息的最长子串长度；

利用所述字符串最大长度以及所述核心信息的最长子串长度，计算所述核心信息与所述前异常层级包括的异常类别之间的相似度；

和/或，

在所述将所述运行日志拆分成多个日志块之后，在所述为所述日志块匹配出第一异常类别之前，进一步包括：根据预设的日志格式，将每一个所述日志块进行格式化处理；

所述从所述日志块中获取用于聚类的核心信息，包括：

根据预设的日志块的核心特征，从格式化处理后的日志块中抽取出核心信息。

5.根据权利要求3所述的任务异常处理方法，其特征在于，所述筛选出匹配于所述日志块的第一异常类别，包括：

针对多个所述异常层级循环执行下述操作步骤：

从多个所述异常层级中，为所述核心信息定位当前异常层级；

在所述当前异常层级中，搜索第二异常类别，其中，所述第二异常类别与所述核心信息的相似度大于或等于所述当前异常层级对应的异常相似阈值；

根据所述日志块的核心信息与所述第二异常类别，生成临时异常类别；

将所述临时异常类别与所述第二异常类别进行对比；如果对比的结果指示所述临时异常类别与所述第二异常类别一致，则确定所述第二异常类别为匹配于所述日志块的第一异常类别，删除所述临时异常类别，结束流程并结束循环；如果对比的结果指示所述临时异常类别与所述第二异常类别不一致，则将所述当前异常层级对应的下一异常层级作为当前异常层级，并再次执行所述从多个所述异常层级中，为所述核心信息定位当前异常层级的步骤。

6.根据权利要求5所述的任务异常处理方法，其特征在于，

所述生成临时异常类别包括：

针对所述当前异常层级为初始异常层级的情况，对所述日志块的核心信息和所述初始异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别；

针对所述当前异常层级为除所述初始异常层级之外的其他异常层级的情况，确定所述其他异常层级对应的上一异常层级对应的临时异常类别，对所述上一异常层级对应的临时异常类别和所述当前异常层级搜索出的第二异常类别进行聚合处理，形成临时异常类别；

和/或，

在所述搜索第二异常类别之后，在所述生成临时异常类别之前，还包括：在未搜索到所述第二异常类别的情况下，直接将所述当前异常层级对应的下一异常层级作为当前异常层级，并再次执行所述从多个所述异常层级中，为所述核心信息定位当前异常层级的步骤；

和/或，

在所述将所述临时异常类别与所述第二异常类别进行对比之后，还包括：如果对比的结果指示所述临时异常类别与所述第二异常类别不一致，将所述临时异常类别添加到所述当前异常层级；

和/或，

所述任务异常处理方法还包括：

在对比的结果指示所述临时异常类别与所述第二异常类别不一致的情况下，

判断所述当前异常层级是否为所述异常树的最高层级，如果是，则结束当前流程，否则，执行所述将所述当前异常层级对应的下一异常层级作为当前异常层级的步骤。

7.根据权利要求5所述的任务异常处理方法，其特征在于，在所述搜索第二异常类别之后，还包括：

在未搜索到所述第二异常类别的情况下，为所述核心信息生成新的异常类别，并将所述新的异常类别添加到所述当前异常层级。

8.根据权利要求7所述的任务异常处理方法，其特征在于，所述为所述核心信息生成新的异常类别，包括：

直接确定所述核心信息为新的异常类别；

或者，

针对所述当前异常层级为除初始异常层级之外的其他异常层级的情况，

确定所述其他异常层级对应的上一异常层级；

对所述上一异常层级生成的临时异常类别和所述上一异常层级原来包括的异常类别进行聚合处理，为所述其他异常层级形成新的异常类别。

9.根据权利要求1所述的任务异常处理方法，其特征在于，还包括：

根据初始异常层级设置的异常相似阈值，对历史运行日志包括的多个所述历史日志块进行聚类，形成多个包含有至少一个历史日志块的第一聚类簇；

针对每一个所述第一聚类簇，根据所述第一聚类簇包括的每一个历史日志块包括的核心信息，为所述初始异常层级生成异常类别；

针对除所述初始异常层级之外的每一个其他异常层级，执行下述操作：

所述其他异常层级对应的上一异常层级包括有至少两种异常类别的情况下，对上一异常层级包括有至少两种异常类别进行聚类；

在聚类出满足所述其他异常层级设置的异常相似阈值的第二聚类簇的情况下，根据所述第二聚类簇包括的至少两种异常类别，为所述其他异常层级生成异常类别，构建出包括多个异常层级的异常树。

10.根据权利要求1所述的任务异常处理方法，其特征在于，

还包括：每一种所述异常类别配置有异常关键词；

所述将所述第一异常类别以及所述第一异常类别配置的异常原因提供给任务管理方，包括：将所述第一异常类别配置的异常关键词以及所述第一异常类别配置的异常原因提供给任务管理方；

和/或，

所述任务异常处理方法还包括：每一种所述异常类别配置有修复方案；将所述第一异常类别配置的修复方案提供给任务管理方，或者，直接利用所述修复方案对所述任务进行修复。

11.一种任务异常处理装置，其特征在于，包括：日志处理模块、异常搜索模块以及交互模块，其中，

所述日志处理模块，用于获取对应于任务的运行日志，并将所述运行日志拆分成多个日志块；

所述异常搜索模块，用于从预先构建出的异常树所包括的多个异常层级以及每一个所述异常层级包括的至少一种异常类别，为所述日志块匹配出第一异常类别；根据预先为每一种异常类别配置的异常原因，为所述日志块确定出其所对应的第一异常类别配置的异常原因；

所述交互模块，用于将所述第一异常类别以及所述第一异常类别配置的异常原因提供给任务管理方，以使所述任务管理方根据所述第一异常类别以及所述第一异常类别配置的异常原因，修复所述任务。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。

Images