CN114201376A - 基于人工智能的日志解析方法、装置、终端设备及介质 - Google Patents

Abstract

本申请适用于人工智能领域，尤其涉及一种基于人工智能的日志解析方法、装置、终端设备及介质。该方法根据目标数据库在被驱动运行时产生的任务日志，确定任务日志中的N个运行阶段，从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据，将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，将第一比对结果对应的任务与第二比对结果对应的任务分别进行不同的标记，得到任务日志的第一解析结果，基于人工智能实现对任务日志的识别，结合预设条件得到解析结果，无需人工审核和定位解析结果，有效地提高了对数据库任务日志的解析效率。

Description

基于人工智能的日志解析方法、装置、终端设备及介质

技术领域

本申请属于人工智能领域，尤其涉及一种基于人工智能的日志解析方法、装置、终端设备及介质。

背景技术

目前，在日常开发和维护中，需要对结构化查询语言(Structured QueryLanguage，SQL)数据库的性能进行测试，并定位瓶颈、生产等问题，现有的测试是采用人工主观观察的测试方法，即在一次测试后逐一对解析结果进行比对，检测是否有错，当需要一次性定位多种数据库协议的多种类型的SQL语句进行测试时，往往需要耗用大量的人力成本，并且需要进行人工审核和定位，测试及定位的效率和质量不高，因此，如何提高数据库任务日志的解析效率成为亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种基于人工智能的日志解析方法、装置、终端设备及介质，以解决现有技术对数据库任务日志的解析效率较低的问题。

第一方面，本申请实施例提供一种基于人工智能的日志解析方法，所述日志解析方法包括：

获取目标数据库在被驱动运行时产生的任务日志，确定所述任务日志中一Job执行时的N个运行阶段，N为大于零的整数；

从所述任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据；

将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，其中，第一比对结果为任务执行过程数据满足第一预设数据条件，所述第二比对结果为任务执行过程数据不满足第一预设数据条件；

将所述第一比对结果对应的任务与所述第二比对结果对应的任务分别进行不同的标记，得到所述任务日志的第一解析结果。

第二方面，本申请实施例提供一种基于人工智能的日志解析装置，所述日志解析装置包括：

阶段确定模块，用于获取目标数据库在被驱动运行时产生的任务日志，确定所述任务日志中一Job执行时的N个运行阶段，N为大于零的整数；

任务确定模块，用于从所述任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据；

比对模块，用于将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，其中，第一比对结果为任务执行过程数据满足第一预设数据条件，所述第二比对结果为任务执行过程数据不满足第一预设数据条件；

第一解析模块，用于将所述第一比对结果对应的任务与所述第二比对结果对应的任务分别进行不同的标记，得到所述任务日志的第一解析结果。

第三方面，本申请实施例提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的日志解析方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的日志解析方法。

第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的日志解析方法。

本申请实施例与现有技术相比存在的有益效果是：本申请根据目标数据库在被驱动运行时产生的任务日志，确定任务日志中的N个运行阶段，从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据，将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，将第一比对结果对应的任务与第二比对结果对应的任务分别进行不同的标记，得到任务日志的第一解析结果，基于人工智能实现对任务日志的识别，结合预设条件得到解析结果，无需人工审核和定位解析结果，有效地提高了对数据库任务日志的解析效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种基于人工智能的日志解析方法的流程示意图；

图2是本申请实施例二提供的一种基于人工智能的日志解析方法的流程示意图；

图3是本申请实施例三提供的一种基于人工智能的日志解析装置的结构示意图；

图4是本申请实施例四提供的一种终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例中的终端设备可以是掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant，PDA)等，本申请实施例对终端设备的具体类型不作任何限制。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了说明本申请的技术方案，下面通过具体实施例来进行说明。

参见图1，是本申请实施例一提供的一种基于人工智能的日志解析方法的流程示意图，上述日志解析方法应用于终端设备，终端设备通过预设的应用程序接口(Application Programming Interface，API)连接目标数据库。在目标数据被驱动运行以执行相应的任务时，会产生对应的任务日志，通过API可以采集到上述任务日志。如图1所示，该日志解析方法可以包括以下步骤：

步骤S101，获取目标数据库在被驱动运行时产生的任务日志，确定任务日志中一Job执行时的N个运行阶段。

其中，目标数据库可以是指结构化查询语言(Structured Query Language，SQL)数据库、MySQL数据库等。上述目标数据库在被驱动运行时产生了任务日志，任务日志可以是自然语言、编程语言等形成的日志文件，日志文件中包含目标数据库执行相应的任务时产生的过程记录，该记录包括至少一个Job在执行时每个运行阶段和每个运行阶段下的每个任务。目标数据库被应用程序(Application)驱动运行，在应用程序中每个Action的操作就会生成一个Job，在一Job执行时时需要分为几个阶段，该阶段即为运行阶段

本申请中，通过API获取的任务日志可以日志文件构成的日志文件包，在获取到日志文件包后还需要对该日志文件包进行分类识别，从而确定目标文件作为任务日志，提取任务日志的具体日志内容，并用于后续对任务日志的识别。上述任务日志中包含至少一个运行阶段，即上述N为大于零的整数。

本申请中，使用训练好的自然语言处理(Natural Language Processing,NLP)模型对任务日志进行识别，该NLP模型需要输入为大量的标注的文本进行训练，将大量的训练集送入该NLP模型，得出偏差，调整权重和阈值，该NLP模型采用可以基于传统机器学习方法或者深度学习方法来构建，经过训练后，得到能够对文本进行关键词提取、语义分析的模型。

将上述任务日志输入NLP模型，得到对应的关键词或者关键语句，其中，关键词或者关键语句用于表征上述任务日志中的运行阶段。例如，通过“stage”关键词匹配到一个运行阶段。

在一种实施方式中，上述终端设备连接其他存储数据库，该其他存储数据库用于存储目标数据库被驱动运行时产生的任务日志，该其他存储数据库根据终端设备的获取指令，将对应的任务日志发送给终端设备。

步骤S102，从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据。

其中，在任务日志中每个运行阶段均对应该运行阶段的运行日志，提取每个运行阶段下的运行日志。例如，在一个运行阶段与其下一个运行阶段之间的日志内容即为该运行阶段的运行过程中产生的信息，从其中可以提取到该运行阶段对应的运行日志，将该运行日志作为该第一运行阶段的具体运行特征，其中，运行日志可以包括启动时间、结束时间、运行时长、reducer task数目以及task对应的统一资源定符(Uniform ResourceLocator，URL)。

本申请中，预先设置有匹配字段，例如，时间匹配字段、map task匹配字段、URL匹配字段等，基于匹配字段可以从运行日志中匹配到字段对应的数据，终端设备将运行日志与每个匹配字段进行比对，确定每个运行日志的运行数据，包括启动时间、结束时间、运行时长以及task对应的URL等，然后，提取每个任务下的日志内容，通过NLP模型识别来确定该任务的任务执行过程数据，包括启动时间、结束时间、运行时长以及输入数据量、字节数，输出数据量、字节数等。例如，在一个任务与其下一个任务之间的日志内容即为该任务的运行过程中产生的信息，该日志内容即为该任务的具体运行特征，

例如，在任务下得到了两个时间，通过比较两个时间的前后，确定开始时间和结束时间，在得到开始时间与结束时间之后，通过对两者计算得到相应的运行时长。

可选的是，确定任务日志中一Job执行时的N个运行阶段包括：

使用表征运行阶段的字符表示，从任务日志中匹配到对应的运行阶段；

相应地，从任务日志中获取每个运行阶段对应的运行日志包括：

根据任务日志中匹配到的每个运行阶段的位置，提取相邻两个运行阶段的位置之间的日志，确定该日志为的相邻两个运行阶段中位置在前的运行阶段对应的运行日志。

其中，字符表示可以是指能够唯一表征运行阶段的字符串、正则表达式等。例如，当在任务日志中运行阶段用“stage-N”来表示时，使用“stage”对应的字符串来匹配运行阶段，在“stage-1”的位置和“stage-2”的位置之间日志为“stage-1”的运行阶段对应的运行日志。

举例说明，在任务日志中通过“stage”字符串匹配到stage-1和stage-2，将stage-1和stage-2之间的日志内容作为stage-1的日志内容，该stage-1的日志内容包括：

starting job＝job_1606375577593_12689991，

tracking URL＝http://xxx.com.cn/proxy/application_1606375577593_12689991/；

Hadoop job information for stage-1：number of mappers：1066，number ofreducers：287；

通过tracking URL可以提取出对应的URL，通过number of mappers可以提取出map task数目为1066，通过number of reducers可以提取出reducers task数目为287。

可选的是，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据包括：

使用表征任务的字符表示，从每个运行日志中匹配到对应的任务；

提取每个任务下日志内容，使用训练好的自然语言处理模型对每个任务下的日志内容进行识别，确定每个任务的任务执行过程数据。

其中，字符表示可以是指能够唯一表征任务的字符串、正则表达式等。例如，当在运行日志用“task-N”来表示时，使用“task”对应的字符串来匹配任务，使用“task-1”下的URL获取对应的运行文件作为该任务的日志内容。通过NPL模型对上述运行文件进行识别来确定该任务的任务执行过程数据，包括启动时间、结束时间、运行时长以及输入数据量、字节数，输出数据量、字节数等。

举例说明，通过hive sql的driver产生的日志，获取到该hive sql一共产生了2个stage(运行阶段)，分别是stage1和stage1；其中，stage1的运行信息：

启动时间t11、结束时间t21、运行时长t31、运行时map task数目s11、reducertask数目s21和URL：

http://xxx.com.cn/proxy/application_1606375577593_12689991/；

依据stage1中task1对应URL获取该task1的任务执行过程数据：

启动时间t41、结束时间t51、运行时长t61以及每个task的输入数据量s31、字节数s41、输出数据量s51；

stage2的运行信息：启动时间t12、结束时间t22、运行时长t32、运行时map task数目s1、reducer task数目s22和URL：

http://xxx.com.cn/proxy/application_1606375577593_11119981/；

依据stage2中task2对应URL获取该task2的任务执行过程数据：

启动时间t42、结束时间t52、运行时长t62以及每个task的输入数据量s32、字节数s42、输出数据量s52。

步骤S103，将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务。

其中，第一比对结果为任务执行过程数据满足第一预设数据条件，第二比对结果为任务执行过程数据不满足第一预设数据条件。第一预设数据条件可以是针对任务执行过程数据中任一数据设置的数据条件，提取每个任务执行过程数据中相应的数据与该数据条件进行比对，确定满足条件的任务执行过程数据对应的任务为第一比对结果对应的任务，确定不满足条件的任务执行过程数据对应的任务为第二比对结果对应的任务。

举例说明，第一预设数据条件为运行时长小于t，stage1中task1的运行时长t61，stage1中task1的运行时长t62，其中，stage1中task1的t61小于t，对应的比对结果为第一比对结果，stage2中task1的t62大于t，对应的比对结果为第二比对结果。

步骤S104，将第一比对结果对应的任务与第二比对结果对应的任务分别进行不同的标记，得到任务日志的第一解析结果。

其中，第一预设数据条件为预先制定的判断标准，可以用于判定任务是否存在异常运行情况，制定性能异常的判定标准，对任务运行过程进行判断，根据判断结果将异常运行的任务和正常运行的任务分别进行不同的标记。例如，将每个运行阶段的每个任务进行展示，将异常运行的任务相较于正常运行的任务标记为高亮，从而可以引起用户注意。

本申请对任务日志的解析，对应得到的解析结果是将第一比对结果对应的任务与第二比对结果对应的任务进行区别。

举例说明，通过hive sql的driver产生的日志，获取到该hive sql一共产生了2个stage，分别是stage1和stage1；其中，stage1的运行日志包括：启动时间t11，结束时间t21，运行时长t31，运行时map task数目s11和reducer task数目s21，依据stage1对应的运行日志，确定stage1的task任务执行过程数据：启动时间t41，结束时间t51，运行时长t61，以及每个task的输入数据量s31、字节数s41，输出数据量s51；stage2的运行信息包括：启动时间t12，结束时间t22，运行时长t32，运行时map task数目s12和reducer task数目s22，依据stage2对应的运行日志，确定stage2的task任务执行过程数据：启动时间t42，结束时间t52，运行时长t62，以及每个task的输入数据量s32、字节数s42，输出数据量s52；展示的内容为：启动时间t41，结束时间t51，运行时长t61，以及每个task的输入数据量s31、字节数s41，输出数据量s51，以及启动时间t42，结束时间t52，运行时长t62，以及每个task的输入数据量s32、字节数s42，输出数据量s52，第一预设数据条件为启动时间阈值，t41大于启动时间阈值，则不满足第一预设数据条件，t42小于启动时间阈值，则满足第一预设数据条件，因此，在展示时stage1的task用红色字体显示和stage2的task用黑色字体显示。

可选的是，在从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志之后，还包括：

确定每个运行阶段对应的运行数据，运行数据为任务日志中除任务及任务执行过程数据之外的数据；

将运行数据与第二预设数据条件比对，确定第三比对结果对应的运行阶段以及第四比对结果对应的运行阶段，其中，第三比对结果为运行数据满足第二预设数据条件，第四比对结果为运行数据不满足第二预设数据条件；

将第三比对结果对应的运行阶段与第四比对结果对应的运行阶段分别进行不同的标记，得到任务日志的第三解析结果。

其中，第二预设数据条件为针对运行阶段对应的运行数据中任一数据设置的数据条件，提取每个运行数据中相应的数据与该数据条件进行比对，确定满足条件的运行数据对应的运行阶段为第三比对结果对应的运行阶段，确定不满足条件的运行数据对应的运行阶段为第四比对结果对应的运行阶段。

第二预设数据条件也为预先制定的判断标准，可以用于判定运行阶段是否存在异常运行情况，制定性能异常的判定标准，对运行阶段进行判断，根据判断结果将异常运行的运行阶段和正常运行的运行阶段分别进行不同的标记。例如，将每个运行阶段进行展示，将异常运行的运行阶段相较于正常运行的运行阶段标记为高亮，从而可以引起用户注意。

可选的是，在将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务之后，还包括：

提取第二比对结果对应的任务中每个任务对应的统一资源定位符；

访问每个统一资源定位符，以得到对应的任务执行信息，确定第二比对结果对应的任务中每个任务对应的任务执行信息为任务日志的第四解析结果。

其中，针对不满足第一预设数据条件的任务，通过该任务的URL访问对应的地址，以获取该任务的任务执行信息，该任务执行信息包含任务所使用的Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)的稳定性，还可以包含该任务执行的机器的性能，以及是否启动过重试机制，进而可以判断导致上述不满足第一预设数据条件的原因。

可选的是，任务执行过程数据包括任务开始执行的开始时间和任务的处理时长，在确定每个运行日志对应的任务及任务执行过程数据之后，还包括：

针对任一运行阶段，确定该运行阶段的所有任务的个数以及所有任务中最早的开始时间、最晚的开始时间和最长的处理时长；

若所有任务的个数与最长的处理时长的乘积小于最早的开始时间与最晚的开始时间之间的时长，则确定任务执行过程中缺乏资源，将资源不足作为任务日志的第五解析结果。

其中，对于同一个stage中的任务，根据启动的最早时间和最晚时间，确定是否是资源不足导致时效差。比如：任务的最长处理时间只需要3min，而任务的启动最早时间和最晚时间相差1hour，则代表资源在这个时刻是瓶颈，理论上如果资源充足，该stage应该在5分钟内可以运行完毕，因此，解决方案是增加资源，或者降低该stage的并行度，让每个task多处理数据来解决该问题。

上述的解析结果在显示时，将上述运行日志及每个运行日志下任务及任务执行过程数据以列表的形式显示，如第一列显示application URL，第二列显示map task个数，第三列显示reducer task个数，第四列显示开始时间，第五列显示结束时间，第六列显示整体运行时间。

本申请还可通过对该任务的输入数据量和输出数据量与中位数任务的输入数据量和输出数据量进行对比，来确认任务是否倾斜，并用来优化SQL。

本申请实施例根据目标数据库在被驱动运行时产生的任务日志，确定任务日志中的N个运行阶段，从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据，将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，将第一比对结果对应的任务与第二比对结果对应的任务分别进行不同的标记，得到任务日志的第一解析结果，基于人工智能实现对任务日志的识别，结合预设条件得到解析结果，无需人工审核和定位解析结果，有效地提高了对数据库任务日志的解析效率。

参见图2，是本申请实施例二提供的一种基于人工智能的日志解析方法的流程示意图，如图2所示，该日志解析方法可以包括以下步骤：

步骤S201，获取目标数据库在被驱动运行时产生的任务日志，确定任务日志中一Job执行时的N个运行阶段。

步骤S202，从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据。

步骤S203，将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务。

其中，步骤S201至步骤S203与上述步骤S101至步骤S103的内容型相同，可参考步骤S101至步骤S103的描述，在此不再赘述。

步骤S204，根据第一比对结果对应的任务和第二比对结果对应的任务中每个任务所属的运行阶段，确定第一类运行阶段和第二类运行阶段。

其中，第一类运行阶段是包含第一比对结果对应的任务的运行阶段，第二类运行阶段是包含第二比对结果对应的任务的运行阶段，即满足条件的任务所属运行阶段为第一类运行阶段，确定不满足条件的任务所属的运行阶段为第二类运行阶段。

步骤S205，将第一类运行阶段和第二类运行阶段分别进行不同的标记，得到任务日志的第二解析结果。

其中，第一预设数据条件为预先制定的判断标准，还可以用于判定运行阶段是否存在异常运行情况，根据判断结果将异常运行的运行阶段和正常运行的运行阶段分别进行不同的标记。例如，将每个运行阶段进行展示，将异常运行的运行阶段相较于正常运行的运行阶段标记为高亮，从而可以引起用户注意。

本申请对任务日志的解析，对应得到的解析结果是将第一比对结果对应的运行阶段与第二比对结果对应的运行阶段进行区别。

本申请实施例根据目标数据库在被驱动运行时产生的任务日志，确定任务日志中的N个运行阶段，从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据，将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，根据第一比对结果对应的任务和第二比对结果对应的任务中每个任务所属的运行阶段，确定第一类运行阶段和第二类运行阶段，将第一类运行阶段和第二类运行阶段分别进行不同的标记，得到任务日志的第二解析结果，基于人工智能实现对任务日志的识别，结合预设条件得到解析结果，生成对运行阶段的解析结果。

对应于上文实施例的日志解析方法，图3示出了本申请实施例三提供的基于人工智能的日志解析装置的结构框图，上述日志解析装置应用于终端设备，终端设备通过预设的应用程序接口连接目标数据库。在目标数据库被驱动运行以执行相应的任务时，会产生对应的任务日志，通过API可以采集到上述任务日志。为了便于说明，仅示出了与本申请实施例相关的部分。

参见图3，该日志解析装置包括：

阶段确定模块31，用于获取目标数据库在被驱动运行时产生的任务日志，确定任务日志中一Job执行时的N个运行阶段，N为大于零的整数；

任务确定模块32，用于从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据；

比对模块33，用于将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，其中，第一比对结果为任务执行过程数据满足第一预设数据条件，第二比对结果为任务执行过程数据不满足第一预设数据条件；

第一解析模块34，用于将第一比对结果对应的任务与第二比对结果对应的任务分别进行不同的标记，得到任务日志的第一解析结果。

可选的是，上述日志解析装置还包括：

阶段分类模块，用于在将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务之后，根据第一比对结果对应的任务和第二比对结果对应的任务中每个任务所属的运行阶段，确定第一类运行阶段和第二类运行阶段，其中，第一类运行阶段是包含第一比对结果对应的任务的运行阶段，第二类运行阶段是包含第二比对结果对应的任务的运行阶段；

第二解析模块，用于将第一类运行阶段和第二类运行阶段分别进行不同的标记，得到任务日志的第二解析结果。

可选的是，上述日志解析装置还包括：

运行数据确定模块，用于在从任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志之后，确定每个运行阶段对应的运行数据，运行数据为任务日志中除任务及任务执行过程数据之外的数据；

运行阶段确定模块，用于将运行数据与第二预设数据条件比对，确定第三比对结果对应的运行阶段以及第四比对结果对应的运行阶段，其中，第三比对结果为运行数据满足第二预设数据条件，第四比对结果为运行数据不满足第二预设数据条件；

第三解析模块，用于将第三比对结果对应的运行阶段与第四比对结果对应的运行阶段分别进行不同的标记，得到任务日志的第三解析结果。

可选的是，上述日志解析装置还包括：

提取模块，用于在将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务之后，提取第二比对结果对应的任务中每个任务对应的统一资源定位符；

第四解析模块，用于访问每个统一资源定位符，以得到对应的任务执行信息，确定第二比对结果对应的任务中每个任务对应的任务执行信息为任务日志的第四解析结果。

可选的是，上述日志解析装置还包括：

任务内容确定模块，用于任务执行过程数据包括任务开始执行的开始时间和任务的处理时长，在确定每个运行日志对应的任务及任务执行过程数据之后，针对任一运行阶段，确定该运行阶段的所有任务的个数以及所有任务中最早的开始时间、最晚的开始时间和最长的处理时长；

第五解析模块，用于若所有任务的个数与最长的处理时长的乘积小于最早的开始时间与最晚的开始时间之间的时长，则确定任务执行过程中缺乏资源，将资源不足作为任务日志的第五解析结果。

可选的是，上述任务确定模块32包括：

第一匹配单元，用于使用表征任务的字符表示，从每个运行日志中匹配到对应的任务；

第一识别单元，用于提取每个任务下日志内容，使用训练好的自然语言处理模型对每个任务下的日志内容进行识别，确定每个任务的任务执行过程数据。

可选的是，上述阶段确定模块31包括：

第一匹配单元，用于使用表征运行阶段的字符表示，从任务日志中匹配到对应的运行阶段；

相应地，上述任务确定模块32包括：

日志确定单元，用于根据任务日志中匹配到的每个运行阶段的位置，提取相邻两个运行阶段的位置之间的日志，确定该日志为的相邻两个运行阶段中位置在前的运行阶段对应的运行日志。

需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图4为本申请实施例四提供的一种终端设备的结构示意图。如图4所示，该实施例的终端设备4包括：至少一个处理器40(图4中仅示出一个)、存储器41以及存储在存储器41中并可在至少一个处理器40上运行的计算机程序42，处理器40执行计算机程序42时实现上述任意各个日志解析方法实施例中的步骤。

该终端设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的举例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器40可以是CPU，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器41在一些实施例中可以是终端设备4的内部存储单元，例如终端设备4的硬盘或内存。存储器41在另一些实施例中也可以是终端设备4的外部存储设备，例如终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器41还可以既包括终端设备4的内部存储单元也包括外部存储设备。存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述方法实施例中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的日志解析方法，其特征在于，所述日志解析方法包括：

获取目标数据库在被驱动运行时产生的任务日志，确定所述任务日志中一Job执行时的N个运行阶段，N为大于零的整数；

从所述任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据；

将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，其中，第一比对结果为任务执行过程数据满足第一预设数据条件，所述第二比对结果为任务执行过程数据不满足第一预设数据条件；

将所述第一比对结果对应的任务与所述第二比对结果对应的任务分别进行不同的标记，得到所述任务日志的第一解析结果。

2.根据权利要求1所述的日志解析方法，其特征在于，在所述将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务之后，还包括：

根据所述第一比对结果对应的任务和所述第二比对结果对应的任务中每个任务所属的运行阶段，确定第一类运行阶段和第二类运行阶段，其中，所述第一类运行阶段是包含所述第一比对结果对应的任务的运行阶段，所述第二类运行阶段是包含所述第二比对结果对应的任务的运行阶段；

将所述第一类运行阶段和所述第二类运行阶段分别进行不同的标记，得到所述任务日志的第二解析结果。

3.根据权利要求1所述的日志解析方法，其特征在于，在所述从所述任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志之后，还包括：

确定每个运行阶段对应的运行数据，所述运行数据为所述任务日志中除所述任务及任务执行过程数据之外的数据；

将所述运行数据与第二预设数据条件比对，确定第三比对结果对应的运行阶段以及第四比对结果对应的运行阶段，其中，第三比对结果为运行数据满足第二预设数据条件，所述第四比对结果为运行数据不满足第二预设数据条件；

将所述第三比对结果对应的运行阶段与所述第四比对结果对应的运行阶段分别进行不同的标记，得到所述任务日志的第三解析结果。

4.根据权利要求1所述的日志解析方法，其特征在于，在所述将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务之后，还包括：

提取所述第二比对结果对应的任务中每个任务对应的统一资源定位符；

访问每个统一资源定位符，以得到对应的任务执行信息，确定所述第二比对结果对应的任务中每个任务对应的任务执行信息为所述任务日志的第四解析结果。

5.根据权利要求1所述的日志解析方法，其特征在于，所述任务执行过程数据包括任务开始执行的开始时间和任务的处理时长，在所述确定每个运行日志对应的任务及任务执行过程数据之后，还包括：

针对任一运行阶段，确定该运行阶段的所有任务的个数以及所有任务中最早的开始时间、最晚的开始时间和最长的处理时长；

若所有任务的个数与最长的处理时长的乘积小于最早的开始时间与最晚的开始时间之间的时长，则确定任务执行过程中缺乏资源，将资源不足作为所述任务日志的第五解析结果。

6.根据权利要求1所述的日志解析方法，其特征在于，所述识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据包括：

使用表征任务的字符表示，从每个运行日志中匹配到对应的任务；

提取每个任务下日志内容，使用训练好的自然语言处理模型对每个任务下的日志内容进行识别，确定每个任务的任务执行过程数据。

7.根据权利要求1至6任一项所述的日志解析方法，其特征在于，所述确定所述任务日志中一Job执行时的N个运行阶段包括：

使用表征运行阶段的字符表示，从所述任务日志中匹配到对应的运行阶段；

相应地，所述从所述任务日志中获取每个运行阶段对应的运行日志包括：

根据所述任务日志中匹配到的每个运行阶段的位置，提取相邻两个运行阶段的位置之间的日志，确定该日志为所述的相邻两个运行阶段中位置在前的运行阶段对应的运行日志。

8.一种基于人工智能的日志解析装置，其特征在于，所述日志解析装置包括：

阶段确定模块，用于获取目标数据库在被驱动运行时产生的任务日志，确定所述任务日志中一Job执行时的N个运行阶段，N为大于零的整数；

任务确定模块，用于从所述任务日志中获取每个运行阶段对应的运行日志，识别每个运行日志，确定每个运行日志对应的任务及任务执行过程数据；

比对模块，用于将每个任务执行过程数据与第一预设数据条件比对，确定第一比对结果对应的任务以及第二比对结果对应的任务，其中，第一比对结果为任务执行过程数据满足第一预设数据条件，所述第二比对结果为任务执行过程数据不满足第一预设数据条件；

第一解析模块，用于将所述第一比对结果对应的任务与所述第二比对结果对应的任务分别进行不同的标记，得到所述任务日志的第一解析结果。

9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的日志解析方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的日志解析方法。

Images