CN115827290A - 处理策略的确定方法、装置、存储介质以及电子设备 - Google Patents

Abstract

本申请公开了一种处理策略的确定方法、装置、存储介质以及电子设备，涉及大数据领域。该方法包括：获取异常作业的调度日志，并确定所述调度日志对应的执行日志，得到所述异常作业的初始凭据；通过所述执行日志确定所述异常作业对应的目标异常原因，并将所述目标异常原因添加至所述初始凭据中，得到所述异常作业的异常凭据；在对照表中获取与所述异常凭据的相似度最高的预设凭据，并将所述相似度最高的预设凭据确定为目标凭据；从所述对照表中获取与所述目标凭据匹配的处理策略，得到所述异常作业的处理策略。通过本申请，解决了相关技术中通过调度日志难以确定异常作业的异常原因以及对应的处理策略的问题。

Description

处理策略的确定方法、装置、存储介质以及电子设备

技术领域

本申请涉及大数据领域，具体而言，涉及一种处理策略的确定方法、装置、存储介质以及电子设备。

背景技术

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。在银行的后台数据中，由于数据的数量大，并且数据种类丰富，因此需要经常对大量数据进行数据的处理，使得后端设备可以直接使用相应的数据。在使用Hive进行分布式大数据的批量加工处理的情况下，会同时对整个分布式数据库进行数据加工作业，也即同时进行大量的数据加工作业。此时，当批量运行中的部分作业出现异常时，会终止异常的作业，运维开发人员可通过Hive批量框架提供的调度日志和执行日志来分析判断异常原因。

由于调度日志的日志内容为当前每个作业的执行状态，调度日志当中的错误信息虽然清晰准确，但是只能通过调度日志中获取少部分异常信息，从而通过异常信息确定对应的处理策略，在部分异常发生的情况下，无法通过调度日志准确进行异常确定，需要通过执行日志进行异常原因的确定。但是，执行日志的日志内容为当前作业集群在每个时间点内的每个作业对应的所有执行节点的执行输出内容，因此，执行日志中的内容十分繁杂，导致运维人员在执行日志中进行异常确认的确认流程十分复杂，得到的确认结果的准确度往往较低并且确认耗时较长，并且无法准确的确定异常对应的处理策略，从而对需要使用处理后的数据的业务造成影响。

针对相关技术中通过调度日志难以确定异常作业的异常原因以及对应的处理策略的问题，目前尚未提出有效的处理策略。

发明内容

本申请提供一种处理策略的确定方法、装置、存储介质以及电子设备，以解决相关技术中通过调度日志难以确定异常作业的异常原因以及对应的处理策略的问题。

根据本申请的一个方面，提供了一种处理策略的确定方法。该方法包括：获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志；通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志；在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略；从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。

可选地，预设凭据中包括预设异常原因和日志语句，在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据包括：在对照表中获取与目标异常原因对应的预设异常原因，得到第一预设异常原因，并在第一预设异常原因对应的多个日志语句中确定与执行日志对应的日志语句，得到第一日志语句；计算第一预设异常原因和第一日志语句共同对应的预设凭据的准确度，得到第一准确度；在对照表中获取与执行日志对应的日志语句，得到第二日志语句，并在第二日志语句关联的多个预设异常原因中确定与目标异常原因对应的预设异常原因，得到第二预设异常原因；计算第二预设异常原因和第二日志语句共同对应的预设凭据的准确度，得到第二准确度；在第一准确度和第二准确度中获取数值最大的准确度，得到目标准确度，并将目标准确度对应的预设凭据确定为目标凭据。

可选地，在对照表中获取与目标异常原因对应的预设异常原因，得到第一预设异常原因，并在第一预设异常原因关联的多个日志语句中确定与执行日志对应的第一日志语句包括：在对照表中获取与目标异常原因的相似度最高的预设异常原因，得到第一预设异常原因和第一相似度；在第一预设异常原因对应的多个日志语句中获取与执行日志的相似度最高的日志语句，得到第一日志语句和第二相似度；计算第一预设异常原因与第一日志语句共同对应的预设凭据的准确度，得到第一准确度包括：将第一相似度和第二相似度加权求和，得到第一准确度。

可选地，在对照表中获取与执行日志对应的日志语句，得到第二日志语句，并在第二日志语句关联的多个预设异常原因中确定与目标异常原因对应的第二预设异常原因包括：在对照表中获取与执行日志的相似度最高的日志语句，得到第二日志语句和第三相似度；在第二日志语句对应的多个预设异常原因中获取与目标异常原因的相似度最高的预设异常原因，得到第二预设异常原因和第四相似度；计算第二预设异常原因与第二日志语句共同对应的预设凭据的准确度，得到第二准确度包括：将第三相似度和第四相似度加权求和，得到第二准确度。

可选地，在通过执行日志确定异常作业对应的目标异常原因之前，该方法还包括：获取多个历史异常作业的历史执行日志和历史异常原因，将多个历史执行日志以及每个历史执行日志对应的历史异常原因确定为样本数据，得到多个样本数据；通过多个样本数据对初始预测模型进行训练，得到目标预测模型；通过执行日志确定异常作业对应的目标异常原因包括：将执行日志输入目标预测模型中，得到异常作业对应的目标异常原因。

可选地，预设凭据中包括日志语句，在确定调度日志对应的执行日志之前，该方法还包括：判断调度日志中是否存在包含第一关键词的目标语句；在调度日志中存在目标语句的情况下，在对照表中确定目标语句对应的日志语句，并将日志语句匹配的处理策略确定为异常作业的处理策略；在调度日志中不存在目标语句的情况下，执行确定调度日志对应的执行日志的步骤。

可选地，确定调度日志对应的执行日志包括：在调度日志中搜索包含第二关键词的日志段，得到目标日志段；通过时间关键词在目标日志段中搜索目标日志段的执行时间，得到目标执行时间；通过服务器关键词在目标日志段中搜索目标日志段的执行服务器，得到目标执行服务器；从多个执行日志中获取目标执行服务器和目标执行时间共同对应的执行日志，得到调度日志对应的执行日志。

根据本申请的另一方面，提供了一种处理策略的确定装置。该装置包括：第一获取单元，用于获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志；添加单元，用于通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志；第一确定单元，用于在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略；第二确定单元，用于从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种处理策略的确定方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种处理策略的确定方法。

通过本申请，采用以下步骤：获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志；通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志；在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略；从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。解决了相关技术中通过调度日志难以确定异常作业的异常原因以及对应的处理策略的问题。通过调度日志获取到异常作业对应的执行日志，并通过执行日志确定异常作业对应的目标异常原因，根据异常原因和执行日志确定预设凭据，并将预设凭据对应的处理策略确定为异常作业对应的处理策略，进而达到了通过执行文件快速准确的确定异常作业的异常原因以及对应的处理策略的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的处理策略的确定方法的流程图；

图2是根据本申请实施例提供的可选的处理策略的确定方法的流程图；

图3是根据本申请实施例提供的处理策略的确定装置的示意图；

图4为根据本申请实施例提供的一种电子设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

需要说明的是，本公开所确定的处理策略的确定方法、装置、存储介质以及电子设备可用于大数据领域，也可用于除大数据领域之外的任意领域，本公开所确定的处理策略的确定方法、装置、存储介质以及电子设备的应用领域不做限定。

根据本申请的实施例，提供了一种处理策略的确定方法。

图1是根据本申请实施例提供的处理策略的确定方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志。

具体的，可以利用python爬虫技术从数据执行作业的调度界面的中断页面中爬取中断作业调度日志的获取链接，并将获取的文件进行格式转换，以文档txt文件形式存储，仍然可以获取调度日志中的内容。调度日志中包括执行异常作业时的执行状态信息，例如，A作业执行状态为正常，B作业执行状态为异常。

在得到执行日志后，可以将执行日志添加至初始凭据中，并通过初始凭据中包含的内容，可以确定异常作业对应的处理对策，并根据处理对策解决所述异常作业出现的问题。

步骤S102，通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志。

具体的，在调度日志中不存在第一关键词的情况下，可以通过调度日志获取调度日志对应的执行日志，并通过执行日志中存储的异常作业执行时的执行内容和执行结果进行异常原因的确定，并将目标异常原因添加至初始凭据中，从而可以根据初始凭据中的目标异常原因和执行日志共同确定异常作业的处理策略。

为了准确的确定调度日志对应的执行日志，可选地，在本申请实施例提供的处理策略的确定方法中，确定调度日志对应的执行日志包括：在调度日志中搜索包含第二关键词的日志段，得到目标日志段；通过时间关键词在目标日志段中搜索目标日志段的执行时间，得到目标执行时间；通过服务器关键词在目标日志段中搜索目标日志段的执行服务器，得到目标执行服务器；从多个执行日志中获取目标执行服务器和目标执行时间共同对应的执行日志，得到调度日志对应的执行日志。

具体的，第二关键词可用于确定包含第二关键词的目标日志段，例如，第二关键词可以为IP或TIME，其中，IP为服务器关键词、TIME为时间关键词，通过IP可以确定IP所在的目标日志段，并确定目标日志段中与IP对应的执行服务器的信息，同样的，可以通过TIME确定TIME所在的目标日志段，并确定目标日志段中与TIME对应的执行时间。在得到执行服务器和执行时间后，可以通过执行服务器和执行时间进行调度日志对应的执行日志的确定，从而在众多作业的执行日志中准确的确定该调度日志对应的执行日志。

在得到执行日志后，即可根据执行日志确定异常作业的异常原因。具体的，可以通过HAN(层叠注意力)神经网络文本分类算法进行异常作业的异常原因的判断。可选地，在本申请实施例提供的处理策略的确定方法中，在通过执行日志确定异常作业对应的目标异常原因之前，该方法还包括：获取多个历史异常作业的历史执行日志和历史异常原因，将多个历史执行日志以及每个历史执行日志对应的历史异常原因确定为样本数据，得到多个样本数据；通过多个样本数据对初始预测模型进行训练，得到目标预测模型；通过执行日志确定异常作业对应的目标异常原因包括：将执行日志输入目标预测模型中，得到异常作业对应的目标异常原因。

具体的，HAN(层叠注意力)神经网络文本分类算法在对文档(较长文本)进行分类的时候，不仅仅对单词粒度进行处理，还对各个句子(短句)进行学习，不同句子也需要分配不同的权重，每个句子里的词语也分配不同的权重。因此，可以基于HAN(层叠注意力)神经网络文本分类算法进行训练的目标预测模型，对执行日志进行分析，从而得到执行日志对应的作业异常原因。

在通过目标预测模型进行目标异常原因的确定之前，需要先对目标预测模型进行训练，可以通过历史执行日志以及每个历史执行日志对应的历史异常原因对模型进行训练，并在模型通过执行日志确定异常原因的准确度大于准确度阈值的情况下，确定目标预测模型已完成训练，并可以通过目标预测模型对执行日志的异常原因进行确定。

步骤S103，在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略。

需要说明的是，对照表中可以存储多个日志-异常原因-处理策略对照信息组，每个对照信息组中包括一个日志或日志段内容以及该日志或日志段对应的异常原因和处理策略，对于不同的日志或日志段，可能出现异常原因相同但是处理策略不同的现象，在确定关键词对应的目标语句后，由于对照表中存在与目标语句相同的日志或日志段，因此可以直接通过对应的处理策略进行异常的处理。

具体的，由于对照表中的处理策略对应一组日志-异常原因，因此，为了确定与异常作业对应的处理策略，需要确定与由目标预测模型得到的异常原因和执行日志组成的异常凭据最相近的预设凭据，从而将与异常凭据最相近的预设凭据对应的处理策略确定为异常作业对应的处理策略。为了准确的确定与异常凭据最相似的预设凭据，可选地，在本申请实施例提供的处理策略的确定方法中，预设凭据中包括预设异常原因和日志语句，在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据包括：在对照表中获取与目标异常原因对应的预设异常原因，得到第一预设异常原因，并在第一预设异常原因对应的多个日志语句中确定与执行日志对应的日志语句，得到第一日志语句；计算第一预设异常原因和第一日志语句共同对应的预设凭据的准确度，得到第一准确度；在对照表中获取与执行日志对应的日志语句，得到第二日志语句，并在第二日志语句关联的多个预设异常原因中确定与目标异常原因对应的预设异常原因，得到第二预设异常原因；计算第二预设异常原因和第二日志语句共同对应的预设凭据的准确度，得到第二准确度；在第一准确度和第二准确度中获取数值最大的准确度，得到目标准确度，并将目标准确度对应的预设凭据确定为目标凭据。

需要说明的是，由于异常凭据中存在两部分内容，也即异常原因和执行日志，因此，在确定与异常凭据最相似的预设凭据时，需要确定两部分内容的相似度，因此得到的相似度会由于相似度的确定顺序不同而发生变化，从而得到不同的相似度的值。

可以通过第一种顺序进行与异常凭据最相似的预设凭据的确定。可选地，在本申请实施例提供的处理策略的确定方法中，在对照表中获取与目标异常原因对应的预设异常原因，得到第一预设异常原因，并在第一预设异常原因关联的多个日志语句中确定与执行日志对应的第一日志语句包括：在对照表中获取与目标异常原因的相似度最高的预设异常原因，得到第一预设异常原因和第一相似度；在第一预设异常原因对应的多个日志语句中获取与执行日志的相似度最高的日志语句，得到第一日志语句和第二相似度；计算第一预设异常原因与第一日志语句共同对应的预设凭据的准确度，得到第一准确度包括：将第一相似度和第二相似度加权求和，得到第一准确度。

具体的，可以先将确定目标异常原因对应的预设异常原因，得到与目标异常原因相似度最高的预设异常原因，也即第一预设异常原因，以及相对应的第一相似度，从而在对照表中得到第一预设异常原因对应的多个日志语句以及对应的处理策略，进一步的，在第一预设异常原因对应的多个日志语句中确定与执行日志相似度最高的第一日志语句，以及相应的第二相似度，从而得到第一预设异常原因和第一日志语句对应的预设凭据和对应的处理策略，以及两个相似度的值。将第一相似度和第二相似度加权求和，得到第一准确度，并通过第一准确度确定第一准确度对应的预设凭据和对应的处理策略是否为异常作业对应的处理策略。

同样的，可以通过第二种顺序进行与异常凭据最相似的预设凭据的确定。可选地，在本申请实施例提供的处理策略的确定方法中，在对照表中获取与执行日志对应的日志语句，得到第二日志语句，并在第二日志语句关联的多个预设异常原因中确定与目标异常原因对应的第二预设异常原因包括：在对照表中获取与执行日志的相似度最高的日志语句，得到第二日志语句和第三相似度；在第二日志语句对应的多个预设异常原因中获取与目标异常原因的相似度最高的预设异常原因，得到第二预设异常原因和第四相似度；计算第二预设异常原因与第二日志语句共同对应的预设凭据的准确度，得到第二准确度包括：将第三相似度和第四相似度加权求和，得到第二准确度。

具体的，可以先将确定执行日志对应的日志语句，得到与执行日志相似度最高的日志语句，也即第二日志语句，以及相对应的第三相似度，从而在对照表中得到第二日志语句对应的多个预设异常原因以及对应的处理策略，进一步的，在第二日志语句对应的多个预设异常原因中确定与目标异常原因相似度最高的第二预设异常原因，以及相应的第四相似度，从而得到第二预设异常原因和第二日志语句对应的预设凭据和对应的处理策略，以及两个相似度的值。同样的，将第三相似度和第四相似度加权求和，得到第二准确度，并通过第二准确度确定第二准确度对应的预设凭据和对应的处理策略是否为异常作业对应的处理策略。

需要说明的是，上述获取相似度的方法可以为通过聚类模型对执行日志和目标异常原因进行聚类，从而得到与执行日志和目标异常原因相似度最高的日志语句和预设异常原因，其中，相似度可以通过将文本转换为向量形式表示，计算向量之间的欧式距离从而确定每个相似度的值。

步骤S104，从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。

具体的，在得到第一准确度和第二准确度后，可以将两个准确度中数值较高的准确度对应的预设凭据对应的处理策略作为异常作业的处理策略，从而达到快速准确的确定异常作业的异常原因以及对应的处理策略的效果。

需要说明的是，在得到异常作业的处理策略后，还可以将处理策略发送至运维人员的便携终端中，或是显示在计算机显示屏中，以便运维人员可以便捷及时的获取到异常作业对应的处理策略，从而及时解决异常作业，保证业务的正常运行。

本申请实施例提供的处理策略的确定方法，通过获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志；通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志；在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略；从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。解决了相关技术中通过调度日志难以确定异常作业的异常原因以及对应的处理策略的问题。通过调度日志获取到异常作业对应的执行日志，并通过执行日志确定异常作业对应的目标异常原因，根据异常原因和执行日志确定预设凭据，并将预设凭据对应的处理策略确定为异常作业对应的处理策略，进而达到了通过执行文件快速准确的确定异常作业的异常原因以及对应的处理策略的效果。

需要说明的是，在得到异常作业的调度文件后，还可以先根据调度文件中的状态信息对异常原因以及处理策略进行确定。可选地，在本申请实施例提供的处理策略的确定方法中，预设凭据中包括预设异常原因和日志语句，在确定调度日志对应的执行日志之前，该方法还包括：判断调度日志中是否存在包含第一关键词的目标语句；在调度日志中存在目标语句的情况下，在对照表中确定目标语句对应的日志语句，并将日志语句匹配的处理策略确定为异常作业的处理策略；在调度日志中不存在目标语句的情况下，执行确定调度日志对应的执行日志的步骤。

具体的，在部分情形下，调度日志中还可能存在部分设置信息，例如语法设置或是权限设置信息，第一关键词可以为调度日志中存在的上述设置信息对应的关键词，例如：ERROR\FAIL\EXCEPTION等关键词，首先，可以先确定调度日志中是否存在上述关键词，在存在上述关键词的情况下，证明上述关键词对应的调度日志的部分日志段落中存在目标语句，并在上述关键词对应的调度日志的部分日志段落中通过PRIVILEGE\SEMANTIC等关键词进行目标语句的确定，在可以确定目标语句的情况下，即可在对照表中通过目标语句对应的日志语句对应的处理策略对异常作业进行处理，从而达到使得异常作业可以正常运行的效果。

图2是根据本申请实施例提供的可选的处理策略的确定方法的流程图，如图2所示，首先通过编写爬虫脚本，定时获取Hive批量作业运行异常时在运维系统上的异常作业的调度日志，并确定调度日志中是否有语法错误或权限错误(第一关键词)，在有语法错误或权限错误的情况下，可以直接通过对照表中的对应关系进行处理策略的确定，在没有语法错误或权限错误的情况下，可以通过第二关键词进行执行日志的确定，并根据执行日志通过深度学习模型的方法去进行异常原因的判断，在得到异常原因后，可以在对照表中获取与异常原因和执行日志相似度最高的预设凭据，并将相似度最高的预设凭据对应的处理策略确定为异常作业的处理策略，从而达到了通过执行文件快速准确的确定异常作业的异常原因以及对应的处理策略的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种处理策略的确定装置，需要说明的是，本申请实施例的处理策略的确定装置可以用于执行本申请实施例所提供的用于处理策略的确定方法。以下对本申请实施例提供的处理策略的确定装置进行介绍。

图3是根据本申请实施例提供的处理策略的确定装置的示意图。如图3所示，该装置包括：第一获取单元31，添加单元32，第一确定单元33，第二确定单元34。

第一获取单元31，用于获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志。

添加单元32，用于通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志。

第一确定单元33，用于在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略。

第二确定单元34，用于从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。

本申请实施例提供的处理策略的确定装置，通过第一获取单元31获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志。添加单元32通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志。第一确定单元33在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略。第二确定单元34从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。解决了相关技术中通过调度日志难以确定异常作业的异常原因以及对应的处理策略的问题。通过调度日志获取到异常作业对应的执行日志，并通过执行日志确定异常作业对应的目标异常原因，根据异常原因和执行日志确定预设凭据，并将预设凭据对应的处理策略确定为异常作业对应的处理策略，进而达到了通过执行文件快速准确的确定异常作业的异常原因以及对应的处理策略的效果。

可选地，在本申请实施例提供的处理策略的确定装置中，预设凭据中包括预设异常原因和日志语句，第一确定单元33包括：第一获取模块，用于在对照表中获取与目标异常原因对应的预设异常原因，得到第一预设异常原因，并在第一预设异常原因对应的多个日志语句中确定与执行日志对应的日志语句，得到第一日志语句；第一计算模块，用于计算第一预设异常原因和第一日志语句共同对应的预设凭据的准确度，得到第一准确度；第二获取模块，用于在对照表中获取与执行日志对应的日志语句，得到第二日志语句，并在第二日志语句关联的多个预设异常原因中确定与目标异常原因对应的预设异常原因，得到第二预设异常原因；第二计算模块，用于计算第二预设异常原因和第二日志语句共同对应的预设凭据的准确度，得到第二准确度；确定模块，用于在第一准确度和第二准确度中获取数值最大的准确度，得到目标准确度，并将目标准确度对应的预设凭据确定为目标凭据。

可选地，在本申请实施例提供的处理策略的确定装置中，第一获取模块包括：第一获取子模块，用于在对照表中获取与目标异常原因的相似度最高的预设异常原因，得到第一预设异常原因和第一相似度；第二获取子模块，用于在第一预设异常原因对应的多个日志语句中获取与执行日志的相似度最高的日志语句，得到第一日志语句和第二相似度；第一计算模块包括：第一求和子模块，用于将第一相似度和第二相似度加权求和，得到第一准确度。

可选地，在本申请实施例提供的处理策略的确定装置中，第二获取模块包括：第三获取子模块，用于在对照表中获取与执行日志的相似度最高的日志语句，得到第二日志语句和第三相似度；第四获取子模块，用于在第二日志语句对应的多个预设异常原因中获取与目标异常原因的相似度最高的预设异常原因，得到第二预设异常原因和第四相似度；第二计算模块包括：第二求和子模块，用于将第三相似度和第四相似度加权求和，得到第二准确度。

可选地，在本申请实施例提供的处理策略的确定装置中，在通过执行日志确定异常作业对应的目标异常原因之前，该装置还包括：第二获取单元，用于获取多个历史异常作业的历史执行日志和历史异常原因，将多个历史执行日志以及每个历史执行日志对应的历史异常原因确定为样本数据，得到多个样本数据；训练单元，用于通过多个样本数据对初始预测模型进行训练，得到目标预测模型；第一获取单元31包括：输入模块，用于将执行日志输入目标预测模型中，得到异常作业对应的目标异常原因。

可选地，在本申请实施例提供的处理策略的确定装置中，预设凭据中包括预设异常原因和日志语句，在确定调度日志对应的执行日志之前，该装置还包括：判断单元，用于判断调度日志中是否存在包含第一关键词的目标语句；第三确定单元，用于在调度日志中存在目标语句的情况下，在对照表中确定目标语句对应的日志语句，并将日志语句匹配的处理策略确定为异常作业的处理策略；执行单元，用于在调度日志中不存在目标语句的情况下，执行确定调度日志对应的执行日志的步骤。

可选地，在本申请实施例提供的处理策略的确定装置中，第一获取单元31包括：第一搜索模块，用于在调度日志中搜索包含第二关键词的日志段，得到目标日志段；第二搜索模块，用于通过时间关键词在目标日志段中搜索目标日志段的执行时间，得到目标执行时间；第三搜索模块，用于通过服务器关键词在目标日志段中搜索目标日志段的执行服务器，得到目标执行服务器；第三获取模块，用于从多个执行日志中获取目标执行服务器和目标执行时间共同对应的执行日志，得到调度日志对应的执行日志。

上述处理策略的确定装置包括处理器和存储器，上述第一获取单元31，添加单元32，第一确定单元33，第二确定单元34等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中通过调度日志难以确定异常作业的异常原因以及对应的处理策略的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述处理策略的确定方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述处理策略的确定方法。

如图4所示，本发明实施例提供了一种电子设备，电子设备40包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志；通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志；在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略；从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取异常作业的调度日志，并确定调度日志对应的执行日志，得到异常作业的初始凭据，其中，调度日志中包括执行异常作业时的执行状态信息，执行日志中包括执行异常作业时的执行内容和执行结果，初始凭据中包括执行日志；通过执行日志确定异常作业对应的目标异常原因，并将目标异常原因添加至初始凭据中，得到异常作业的异常凭据，其中，异常凭据中包括目标异常原因和执行日志；在对照表中获取与异常凭据的相似度最高的预设凭据，并将相似度最高的预设凭据确定为目标凭据，其中，对照表中存储多个预设凭据，以及每个预设凭据对应的处理策略；从对照表中获取与目标凭据匹配的处理策略，得到异常作业的处理策略。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种处理策略的确定方法，其特征在于，包括：

获取异常作业的调度日志，并确定所述调度日志对应的执行日志，得到所述异常作业的初始凭据，其中，所述调度日志中包括执行所述异常作业时的执行状态信息，所述执行日志中包括执行所述异常作业时的执行内容和执行结果，所述初始凭据中包括所述执行日志；

通过所述执行日志确定所述异常作业对应的目标异常原因，并将所述目标异常原因添加至所述初始凭据中，得到所述异常作业的异常凭据，其中，所述异常凭据中包括所述目标异常原因和所述执行日志；

在对照表中获取与所述异常凭据的相似度最高的预设凭据，并将所述相似度最高的预设凭据确定为目标凭据，其中，所述对照表中存储多个所述预设凭据，以及每个所述预设凭据对应的处理策略；

从所述对照表中获取与所述目标凭据匹配的处理策略，得到所述异常作业的处理策略。

2.根据权利要求1所述的方法，其特征在于，所述预设凭据中包括预设异常原因和日志语句，在对照表中获取与所述异常凭据的相似度最高的预设凭据，并将所述相似度最高的预设凭据确定为目标凭据包括：

在所述对照表中获取与所述目标异常原因对应的所述预设异常原因，得到第一预设异常原因，并在所述第一预设异常原因对应的多个所述日志语句中确定与所述执行日志对应的日志语句，得到第一日志语句；

计算所述第一预设异常原因和所述第一日志语句共同对应的所述预设凭据的准确度，得到第一准确度；

在所述对照表中获取与所述执行日志对应的所述日志语句，得到第二日志语句，并在所述第二日志语句关联的多个所述预设异常原因中确定与所述目标异常原因对应的预设异常原因，得到第二预设异常原因；

计算所述第二预设异常原因和所述第二日志语句共同对应的所述预设凭据的准确度，得到第二准确度；

在所述第一准确度和所述第二准确度中获取数值最大的准确度，得到目标准确度，并将所述目标准确度对应的所述预设凭据确定为所述目标凭据。

3.根据权利要求2所述的方法，其特征在于，在所述对照表中获取与所述目标异常原因对应的所述预设异常原因，得到第一预设异常原因，并在所述第一预设异常原因关联的多个所述日志语句中确定与所述执行日志对应的第一日志语句包括：

在所述对照表中获取与所述目标异常原因的相似度最高的所述预设异常原因，得到第一预设异常原因和第一相似度；

在所述第一预设异常原因对应的多个日志语句中获取与所述执行日志的所述相似度最高的日志语句，得到第一日志语句和第二相似度；

计算所述第一预设异常原因与所述第一日志语句共同对应的所述预设凭据的准确度，得到第一准确度包括：

将所述第一相似度和所述第二相似度加权求和，得到所述第一准确度。

4.根据权利要求2所述的方法，其特征在于，在所述对照表中获取与所述执行日志对应的所述日志语句，得到第二日志语句，并在所述第二日志语句关联的多个所述预设异常原因中确定与所述目标异常原因对应的第二预设异常原因包括：

在所述对照表中获取与所述执行日志的所述相似度最高的所述日志语句，得到第二日志语句和第三相似度；

在所述第二日志语句对应的多个预设异常原因中获取与所述目标异常原因的所述相似度最高的预设异常原因，得到第二预设异常原因和第四相似度；

计算所述第二预设异常原因与所述第二日志语句共同对应的所述预设凭据的准确度，得到第二准确度包括：

将所述第三相似度和所述第四相似度加权求和，得到所述第二准确度。

5.根据权利要求1所述的方法，其特征在于，在通过所述执行日志确定所述异常作业对应的目标异常原因之前，所述方法还包括：

获取多个历史异常作业的历史执行日志和历史异常原因，将多个所述历史执行日志以及每个所述历史执行日志对应的历史异常原因确定为样本数据，得到多个样本数据；

通过多个所述样本数据对初始预测模型进行训练，得到目标预测模型；

通过所述执行日志确定所述异常作业对应的目标异常原因包括：

将所述执行日志输入所述目标预测模型中，得到所述异常作业对应的目标异常原因。

6.根据权利要求1所述的方法，其特征在于，所述预设凭据中包括日志语句，在确定所述调度日志对应的执行日志之前，所述方法还包括：

判断所述调度日志中是否存在包含第一关键词的目标语句；

在所述调度日志中存在所述目标语句的情况下，在所述对照表中确定所述目标语句对应的所述日志语句，并将所述日志语句匹配的所述处理策略确定为所述异常作业的处理策略；

在所述调度日志中不存在所述目标语句的情况下，执行所述确定所述调度日志对应的执行日志的步骤。

7.根据权利要求1所述的方法，其特征在于，确定所述调度日志对应的执行日志包括：

在所述调度日志中搜索包含第二关键词的日志段，得到目标日志段；

通过时间关键词在所述目标日志段中搜索目标日志段的执行时间，得到目标执行时间；

通过服务器关键词在所述目标日志段中搜索目标日志段的执行服务器，得到目标执行服务器；

从多个执行日志中获取所述目标执行服务器和所述目标执行时间共同对应的所述执行日志，得到所述调度日志对应的执行日志。

8.一种处理策略的确定装置，其特征在于，包括：

第一获取单元，用于获取异常作业的调度日志，并确定所述调度日志对应的执行日志，得到所述异常作业的初始凭据，其中，所述调度日志中包括执行所述异常作业时的执行状态信息，所述执行日志中包括执行所述异常作业时的执行内容和执行结果，所述初始凭据中包括所述执行日志；

添加单元，用于通过所述执行日志确定所述异常作业对应的目标异常原因，并将所述目标异常原因添加至所述初始凭据中，得到所述异常作业的异常凭据，其中，所述异常凭据中包括所述目标异常原因和所述执行日志；

第一确定单元，用于在对照表中获取与所述异常凭据的相似度最高的预设凭据，并将所述相似度最高的预设凭据确定为目标凭据，其中，所述对照表中存储多个所述预设凭据，以及每个所述预设凭据对应的处理策略；

第二确定单元，用于从所述对照表中获取与所述目标凭据匹配的处理策略，得到所述异常作业的处理策略。

9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的处理策略的确定方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的处理策略的确定方法。

Images