CN116611449A - 异常日志解析方法、装置、设备及介质 - Google Patents

异常日志解析方法、装置、设备及介质 Download PDF

Info

Publication number
CN116611449A
CN116611449A CN202310644111.5A CN202310644111A CN116611449A CN 116611449 A CN116611449 A CN 116611449A CN 202310644111 A CN202310644111 A CN 202310644111A CN 116611449 A CN116611449 A CN 116611449A
Authority
CN
China
Prior art keywords
log
abnormal
exception
logs
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310644111.5A
Other languages
English (en)
Inventor
翁兆琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310644111.5A priority Critical patent/CN116611449A/zh
Publication of CN116611449A publication Critical patent/CN116611449A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种异常日志解析方法、装置、设备及介质，涉及人工智能技术领域。在面向目标算子产生异常日志的情况下，针对多条异常日志中的异常日志，使用预训练语言模型结合注意力机制确定异常日志的描述信息向量，从异常日志中筛选出与当前任务更紧密相关的语义信息，使得获取异常日志的描述信息向量更加精准；通过LSTM网络模型对多条异常日志对应的描述信息向量进行上下文语义特征的准确提取，得到多条异常日志对应的上下文语义特征向量，并输出上下文语义特征向量的概率分布中最大概率对应的报错类型，提高对异常日志解析时对异常类型的识别准确率，降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。

Description

异常日志解析方法、装置、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种异常日志解析方法、装置、设备及介质。
背景技术
技术发展促进金融产业与人工智能深度融合，为金融产业创新发展提供契机。大数据时代，金融行业沉淀了大量数据资产，包括各类用户信息、金融交易信息等，运用好人工智能技术对这些数据进行学习分析将大幅降低人力成本并提升金融风控及业务处理能力。
机器学习建模平台作为一个集数据准备、数据处理、数据拆分、特征工程、模型训练、模型预测与评估等全流程功能平台，可针对金融领域的智能营销、风险管理等业务场景进行结构化建模，提供拖拉拽、流程化的建模工具，降低用户建模门槛，助力金融领域大规模人工智能的应用。机器学习建模平台通常会封装众多开箱即用的算子，包括机器学习建模所需的数据处理、特征工程、模型训练、模型评估等多种类型算子，建模人员只需根据自己的建模需求，拖拽不同种类型的算子组合成完整的有向无环图(Directed AcyclicGraph，简称DAG)即可完成模型构建。算子运行通常会产生日志，当算子运行失败时用户就需要从日志中寻找算子运行失败的原因。但伴随系统复杂度的提升，日志所包含的信息量也是成倍的增长，人工从海量日志中定位错误的成本非常高，也难以满足用户丰富的建模需求和短时间快速建模的时效性，因此使用人工智能技术进行智能日志诊断解析势在必行。
发明内容
本申请提供一种异常日志解析方法、装置、设备及介质，用以降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。
第一方面，本申请提供一种异常日志解析方法，包括：
在面向目标算子产生异常日志的情况下，获取多条异常日志；
针对多条异常日志中的每一条异常日志，将所述异常日志输入至预训练语言模型进行向量化处理，得到所述异常日志对应的日志向量；基于注意力机制，确定所述异常日志与下一条异常日志的注意力交互矩阵；根据所述日志向量与所述注意力交互矩阵，确定所述异常日志的描述信息向量，所述预训练语言模型包括BERT模型和GPT模型；
将所述多条异常日志对应的描述信息向量输入至长短时记忆结构(Long ShortTerm Memory，简称LSTM)网络模型进行上下文语义特征提取，得到所述多条异常日志对应的上下文语义特征向量，并输出所述上下文语义特征向量的概率分布中最大概率对应的报错类型。
在一种可能的实施方式中，基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵，包括：确定异常日志中各词与下一条异常日志中各词之间的语义相似度；根据语义相似度，得到注意力交互矩阵。
在一种可能的实施方式中，根据日志向量与注意力交互矩阵，确定异常日志的描述信息向量，包括：对日志向量与注意力交互矩阵进行连接处理，得到异常日志的描述信息向量。
在一种可能的实施方式中，异常日志包含日志头和日志描述信息。对应地，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量，包括：提取异常日志中包含的日志描述信息；将异常日志包含的日志描述信息输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。
在一种可能的实施方式中，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量，包括：在预设的字典中，匹配异常日志对应的目标异常类型，字典包含设定错误日志和原因分析的对应关系；若匹配失败，则将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。
在一种可能的实施方式中，异常日志解析方法还可以包括：若匹配成功，则输出异常日志和目标异常类型对应的异常日志分析结果，异常日志分析结果包含目标算子产生异常的原因。
在一种可能的实施方式中，异常日志解析方法还包括：显示机器学习建模平台算子运行的界面，该界面包含第一功能控件，第一功能控件用于触发智能日志解析；响应作用于第一功能控件的交互操作，输出报错类型对应的原因分析。
在一种可能的实施方式中，界面还包含第二功能控件，该第二功能控件用于触发字典的维护，字典包含设定错误日志和原因分析的对应关系。该情况下，异常日志解析方法还可以包括：响应作用于第二功能控件的交互操作，显示字典；响应作用于字典的交互操作，针对字典执行交互操作对应的增、删、改、查处理中的一种。
第二方面，本申请提供一种异常日志解析装置，包括：
获取模块，用于在面向目标算子产生异常日志的情况下，获取多条异常日志；
第一处理模块，用于针对多条异常日志中的每一条异常日志，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的日志向量；基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵；根据日志向量与注意力交互矩阵，确定异常日志的描述信息向量，预训练语言模型包括BERT模型和GPT模型；
第二处理模块，用于将多条异常日志对应的描述信息向量输入至LSTM网络模型进行上下文语义特征提取，得到多条异常日志对应的上下文语义特征向量，并输出上下文语义特征向量的概率分布中最大概率对应的报错类型。
第三方面，本申请提供一种电子设备，包括：处理器，以及与该处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被执行时实现第一方面所述的方法。
本申请提供的异常日志解析方法、装置、设备及介质，自动获取异常日志，之后使用预训练语言模型和注意力机制提取异常日志的描述信息向量，并将描述信息向量送入LSTM网络模型提取异常日志的上下文语义特征，并输出上下文语义特征向量的概率分布中最大概率值对应的报错类型。由于预训练语言模型和注意力机制的组合使用，能够从异常日志中筛选出与当前任务更紧密相关的语义信息，使得获取异常日志的描述信息向量更加精准，并通过LSTM网络模型进行处理，进而准确的识别出上下文语义特征，因此可以提高对异常日志解析时对异常类型的识别准确性，降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请示例性实施例提供的一种应用场景图；
图2为本申请示例性实施例提供的另一种应用场景图；
图3为本申请示例性实施例提供的一种异常日志解析方法的流程图；
图4为本申请示例性实施例提供的LSTM网络模型中LSTM单元的结构示意图；
图5为本申请示例性实施例提供的日志解析模型的结构示意图；
图6为本申请示例性实施例提供的另一种异常日志解析方法的流程图；
图7为本申请示例性实施例提供的一种异常日志解析装置的结构示意图；
图8为本申请示例性实施例提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，本申请提供的异常日志解析方法、装置、设备及介质可用于人工智能技术领域，也可用于除人工智能技术之外的任意领域，例如大数据领域、金融科技领域或其他相关领域，本申请异常日志解析方法、装置、设备及介质的应用领域不作限定。
首先，对本申请涉及的部分术语进行解释说明：
DAG：一种有向无环图，在机器学习建模中用来进行建模流程的定义。
算子：平台封装好的算法，满足用户开箱即用的低代码建模需求。
在相关技术中，日志解析主要是依靠机器学习建模平台的运维支持人员人工读取日志定位错误位置的解析方式，为将运维支持人员从海量日志中解脱出来，提高日志解析的处理效率，开始尝试对错误日志直接搜索error、traceback等关键词的操作来直接定位具体报错位置，这种方式相较于之前人工解析日志的方式有一定的效果，部分较为明显的错误问题通过关键词搜索即可解决。
但上述实现至少存在以下缺陷：
传统的依靠人工读取日志的方式虽然能够根据运维支持人员的丰富经验去准确的解决用户问题，但是机器学习建模平台用户数量多，建模需求大，单纯的靠人工去解析错误日志不仅花费的人工成本大，且效率低下。另外，依靠在错误日志中搜索关键字来定位日志中的错误信息也取得了一定的成效，但是使用该技术也只能解决一小部分有明显错误的问题，有些错误可能并不会跟在error或traceback这种关键词的后面，而且这种关键词定位的报错很有可能是系统输出的报错并不是当前算子真实的报错原因，这种情况下会给运维支持人员或用户造成误解，不仅不能解决问题反而会增加解决问题的时长。
为了解决上述问题，本申请实施例提供了一种使用人工智能技术进行异常日志解析的方案，既能显著减少人工工作量又能提升日志解析准确率，以降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。具体地，将异常日志解析的问题看作为一个多分类问题，归纳总结出机器学习建模平台算子日志中的报错类型，将这些报错类型作为深度学习训练数据中的标签值，训练数据即为异常日志的长文本，接着使用基于预训练语言模型加注意力机制的方式构建出日志解析模型。预训练语言模型与注意力机制的使用使得该日志解析模型能够准确理解日志文本的上下文含义，避免了基于日志语义解析没有理解上下文文本语义的问题。该日志解析模型将预测结果返回给运维支持人员和开发人员，帮助运维支持人员和开发人员快速、准确定位问题。
为了便于理解，下面，结合图1和图2，介绍本申请实施例的应用场景。如图1所示，本申请具体的应用场景中，在终端设备上部署机器学习建模平台和日志解析模型，该机器学习建模平台包括封装好的算子，用户可根据使用需求拖拽不同类型的算子组合成完整的DAG进行建模，之后提交算子运行任务。当算子运行错误时会生成异常日志，终端设备调用日志解析模型对异常日志进行解析，返回预测得到的针对该异常日志的报错类型，以帮助运维支持人员和开发人员快速、准确定位问题。
另一种可能的应用场景如图2所示，在该应用场景中，机器学习建模平台部署在终端设备上，例如图2所示的终端设备1和终端设备2，其中，机器学习建模平台包括已经封装好的算子，用户可根据自己的使用需求拖拽不同类型的算子组合成完整的DAG进行建模，之后提交算子运行任务。当算子运行错误时会生成异常日志，并将异常日志发送给服务器，通过部署在服务器上的日志解析模型对各个终端设备上传的异常日志进行解析，并返回预测得到的针对异常日志的报错类型给对应的终端设备，以帮助运维支持人员和开发人员快速、准确定位问题。
需说明的是，上述应用场景仅为示例说明，具体可根据用户实际需求进行应用场景的部署。例如，图2所示应用场景中包含的终端设备的个数也可以是一个或更多个，或者，在上述应用场景中还可以包括用于存储日志的数据库，当有异常日志生成时，由该数据库触发异常日志的解析流程，等等。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图3为本申请示例性实施例提供的一种异常日志解析方法的流程图。如图3所示，本申请实施例的异常日志解析方法包括以下步骤：
步骤301、在面向目标算子产生异常日志的情况下，获取多条异常日志。
在本申请实施例中，如图1或图2所示，用户操作终端设备，打开机器学习建模平台算子运行的界面，用户操作鼠标右键点击算子，选择运行按钮，提交算子运行任务。对应地，终端设备响应检测到算子运行任务，执行该算子运行任务，执行过程中产生的日志可以以日志文件记录，日志文件不对用户呈现。当算子运行失败时，生成日志文件即异常日志文件。可以理解，异常日志文件中可以包含有算子运行正常时产生的日志，这里为方便描述，将存在运行异常的算子的日志文件统称为“异常日志文件”。
一些实施例中，若用户有查看异常日志文件的需求，示例地，用户选择点击界面上的用于查看日志的功能控件，以查看异常日志文件。
可选地，用于执行本申请实施例提供的异常日志解析方法的电子设备，响应检测到有异常日志文件生成，获取异常日志文件包含的多条异常日志。或者，该电子设备响应检测到有异常日志生成，获取异常日志。
其中，目标算子可以为机器学习建模平台中产生异常日志的任一算子。
步骤302、针对多条异常日志中的每一条异常日志，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的日志向量；基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵；根据日志向量与注意力交互矩阵，确定异常日志的描述信息向量。
示例地，预训练语言模型可以是在自然语言处理中事先使用大规模语料学习基于Transformer等的语言模型，之后用于各种任务的学习和预测的模型。可选地，预训练语言模型可以具体为来自Transformers的双向编码表示(Bidirectional EncoderRepresentations from Transformers，简称BERT)模型和生成式预训练Transformer(Generative Pre-Training，简称GPT)模型。其中，GPT模型包括但不限于GPT-3模型。
其中，BERT模型可以理解是Transformer的编码器。首先在预训练中使用大规模语料通过掩码语言模型化的方法估计模型的参数，之后在微调中使用具体任务的标注数据对参数进行进一步调节。前者的过程是无监督学习，后者的过程是监督学习。GPT模型可以理解是Transformer的解码器，预训练通过一般的语言模型化方式进行。
可选地，在本申请实施例中采用的是BERT模型。具体地，针对多条异常日志中的每一条异常日志，根据异常日志对应的词向量、段向量和位置向量，确定BERT模型的输入，通过BERT模型进行向量化处理，BERT模型输出则是输入的异常日志对应的融合全文语义信息后的向量表示，即异常日志对应的日志向量。
一些实施例中，首先对第q条异常日志进行初始化，得到Eq：
Eq＝[E1,E2,…,Ei,…,EK]
其中，K为异常日志包含词的个数，Ei＝Etoken(i)+Esegment(i)+Eposition(i)，Etoken(i)表示词向量，Esegment(i)表示段向量，Eposition(i)表示位置向量，i为小于或等于K的正整数。
之后，将Eq输入BERT模型，通过BERT模型对Eq进行向量化处理，得到日志向量Xq：
Xq＝Bert(Eq)
对于注意力机制(Attention Mechanism)，最早应用于计算机视觉领域，人类在观察图像时，会在快速扫描全局图像的基础上，获取视觉焦点并投入更多关注。自然语言处理中注意力机制的核心目标是从大量输入文本中筛选出与当前任务更紧密相关的语义信息，并将其赋予更高的权重。
需说明的是，由于不存在最后一条异常日志的下一条异常日志，因此，针对最后一条异常日志，在确定异常日志与下一条异常日志的注意力交互矩阵时，与第一条异常日志进行注意力交互，得到最后一条异常日志对应的注意力交互矩阵。
可选地，基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵，可以包括：确定异常日志中各词与下一条异常日志中各词之间的语义相似度；根据语义相似度，得到注意力交互矩阵。例如，确定某一条异常日志xl的第m个词向量与下一条异常日志xr中第n个词向量之间的语义相似度emn,计算公式如下：
其中，指的是日志xl的第m个词向量的转置。
之后，根据语义相似度得到注意力交互矩阵Wattention，其中，该注意力交互矩阵中每个元素的计算方法如下：
其中，G1为异常日志xl中包含的词的个数，G2为异常日志xr中包含的词的个数，m∈(1,2,3,…,G1)，n∈(1,2,3,…,G2)。
进一步地，可以根据如下公式，根据日志向量与注意力交互矩阵，确定第q条异常日志的描述信息向量：
上式中，Concat表示连接函数，用于连接日志向量中的元素和注意力交互矩阵中的元素。
也就是说，上述根据日志向量与注意力交互矩阵，确定异常日志的描述信息向量，可以包括：对日志向量与注意力交互矩阵进行连接处理，得到异常日志的描述信息向量。
步骤303、将多条异常日志对应的描述信息向量输入至LSTM网络模型进行上下文语义特征提取，得到多条异常日志对应的上下文语义特征向量，并输出上下文语义特征向量的概率分布中最大概率对应的报错类型。
该步骤中，可以先根据多条异常日志分别对应的描述信息向量，得到这多条异常日志对应的描述信息向量其中N为异常日志条数；然后，将Slog送入LSTM网络模型中提取上下文语义特征，t时刻LSTM单元的输出为：Ft log＝Lstm(Ft-1 log,Slog)，其中Ft-1 log表示t-1时刻LSTM单元的输出，和Slog一起作为t时刻LSTM单元的输入，Ft log表示t时刻LSTM单元的输出。示例地，图4为本申请示例性实施例提供的LSTM网络模型中LSTM单元的结构示意图。
参考图4，Ft-1 log对应图中的ht-1，ht-1表示t-1时刻LSTM单元的输出；Slog对应图中的Xt，Xt表示t时刻LSTM单元的输入；Ft log对应图中的ht，ht表示t时刻LSTM单元的输出；此外，图中的Ct-1表示t-1时刻LSTM单元的另一输出，也作为t时刻LSTM单元的输入，相应地，Ct对应其t时刻在LSTM单元的输出。
示例地，LSTM网络模型利用softmax函数确定每个上下文语义特征向量的概率分布，并确定最大概率对应的报错类型。
通常情况下，异常日志的报错类型是有限的，例如数据处理算子，常见的报错类型有sql语法错误、可写库空间不足、数据源不存在、字段类型选择错误等。因此，可在训练LSTM网络模型时，获取这些常见的报错类型对应的异常日志作为训练数据的标签，将异常日志作为训练数据，使用预训练语言模型+注意力机制来表示描述信息向量，充分利用文本的上下文信息，最后将描述信息向量输入LSTM网络模型中进行训练。
可以理解，如图5所示，在本申请实施例中，上述提及的日志解析模型至少包含预训练语言模型、注意力模型(基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵)和LSTM网络模型。其中，预训练语言模型可以为BERT模型、GPT-3模型或其他效果更好的预训练模型代替，之后经过微调完成多标签分类任务。
本申请实施例中，在面向目标算子产生异常日志的情况下使用预训练语言模型与注意力机制使得能从异常日志中筛选出与当前任务更紧密相关的语义信息，并将其赋予更高的权重，使得获取异常日志的描述信息向量更加精准；并通过LSTM网络模型进行处理，进而准确的识别出上下文语义特征，可以提高对异常日志解析时对异常类型的识别准确性；进一步地，整个解析过程自动化执行，降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。
在上述实施例的基础上，一些实施例中，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量，可以进一步包括：提取异常日志中的日志描述信息；将异常日志包含的日志描述信息输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。其中，本申请的异常日志是记录算子运行错误的日志，是一种时序文本数据，与自然语言文本有所不同，由日志头LOGHEAD和日志描述信息LOGDESC组成，日志头中通常包含时间戳、日志等级等等字段，这些信息往往对判断异常类型没有帮助，而日志描述信息中则包含当前操作与对应结果的描述，蕴含着丰富的语义信息，所以在对异常日志进行向量化之前，先提取出异常日志包含的日志描述信息LOGDESC。
ELOG＝LOGHEAD+LOGDESC
对于上一步得到的日志描述信息LOGDESC，使用预训练语言模型对其进行向量化处理，得到异常日志对应的目标向量。其中，在步骤302中针对向量化处理已有详细介绍，此处不再赘述。
另一些实施例中，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量，可以进一步包括：在预设的字典中，匹配异常日志对应的目标异常类型，该字典包含设定错误日志和原因分析的对应关系；若匹配失败，则将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。该实现方式中，先在预设的字典中，匹配异常日志对应的目标异常类型，并在匹配失败时，才使用预训练语言模型对异常日志进行向量化处理。
图6为本申请示例性实施例提供的另一种异常日志解析方法的流程图。如图6所示，本申请实施例提供的异常日志解析方法，可以包括：
步骤601、获取异常日志。
对于运行失败的算子，可以直接获取该算子的日志，该日志即异常日志。
该步骤的具体实现与图3所示的步骤301的类似，此处不再赘述。
步骤602、常见报错直接定位步骤。
即，在预设的字典中，匹配异常日志对应的目标异常类型。其中，字典是常见错误日志和对应的原因分析组成的键值对集合，每一个键值对由错误日志error_content和对应的原因分析analysis_result构成，可基于运维支持人员日常支持答疑时遇到的一些常见报错日志来构建常用的字典。
其中，字典示例如下：
{{“error_content”:”TypeError:DoubleType can not accept object”,”analysis_result”:”字段类型不匹配类型，请检查dataFrame的列类型与数据是否匹配”},{“error_content”:”SyntaxError:invalid token”,”analysis_result”:”非法标识错误，请检查SQL语句或python代码”},{“error_content”:”org.apache.hadoop.io.Textcannot be cast to org.apache.hadoop.io”,”analysis_result”:”数据类型转换出错，请确保数据类型匹配”}，{“error_content”:”errorMsg＝未获取到Application Id”,”analysis_result”:”算子任务提交失败，请稍后重试”},……}
可选地，在数据库中增加智能日志解析、字典等对应的数据库表等，并增加对应字段，以方便查询。
因此，本申请实施例可以使用关键词匹配技术对异常日志和字典中的error_content字段进行匹配，判断运行失败的算子的日志中是否包含了字典中的常见的错误日志error_content。
若是，即匹配成功，也就是异常日志中包含字典中的常见的错误日志error_content，则执行步骤603、输出异常日志和目标异常类型对应的异常日志分析结果，异常日志分析结果包含目标算子产生异常的原因，即原因分析analysis_result。
若否，即匹配失败，也就是异常日志中不包含字典中的常见的错误日志error_content，则执行步骤604、触发智能日志解析流程。其中，智能日志解析流程包括如图3所示的步骤301至步骤303。
本申请实施例提供了一种机器学习建模平台算子日志的智能解析方法，该方法对现有技术方案存在的问题进行了改进，用户/运维支持人员/开发人员不需再从上千行的错误日志中逐行仔细观察，定位错误位置，并分析错误原因，对于常见报错问题，使用本申请实施例提供的常见报错直接定位步骤即可直接给出用户/运维支持人员/开发人员算子运行失败的错误原因分析，并展示定位到的错误日志，让问题有理有据；对于常见报错直接定位步骤解决不了的算子运行失败日志，可以使用智能日志解析流程预测日志异常报错类型，大幅提升日志解析的效率。在智能日志解析流程中，可以选择BERT模型+注意力算法来识别日志异常报错的类型，以在提取文本的上下文特征上具有较好的效果。
可选地，在机器学习建模平台算子运行的界面包含用于触发智能日志解析的第一功能控件。相应地，上述异常日志解析方法还可以包括：响应作用于第一功能控件的交互操作，输出报错类型对应的异常日志分析结果，帮助运维支持人员和开发人员快速、准确定位问题。
考虑随着常见错误日志的不断积累，需要对字典的内容进行不断的补充和完善，增加实际场景使用性，因此，可以在机器学习建模平台算子运行的界面增加了一个常见日志字典功能控件，用于触发字典的维护，支持运维支持人员在前端配置字典，以方便后续该功能的迭代优化。基于此，一种实现中，机器学习建模平台算子运行的界面包含第二功能控件，第二功能控件用于触发字典的维护，字典包含设定错误日志和原因分析的对应关系。上述异常日志解析方法还可以包括：响应作用于第二功能控件的交互操作，显示字典；响应作用于字典的交互操作，针对字典执行交互操作对应的增、删、改、查处理中的一种。
进一步地，为了避免用户操作不规范导致一些错误，该第二功能控件可以设定为仅对管理员或者运维人员可见，具有使用权限。运维人员点击该第二功能按钮，显示当前已经预设好的字典，可对字典内容进行增、删、改、查等操作，以便对算子运行的异常场景进行补充和完善。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图7为本申请示例性实施例提供的一种异常日志解析装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。如图7所示，该异常日志解析装置700包括：获取模块701、第一处理模块702和第二处理模块703。其中：
获取模块701，用于在面向目标算子产生异常日志的情况下，获取多条异常日志；
第一处理模块702，用于针对多条异常日志中的每一条异常日志，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的日志向量；基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵；根据日志向量与注意力交互矩阵，确定异常日志的描述信息向量，预训练语言模型包括BERT模型和GPT模型；
第二处理模块703，用于将多条异常日志对应的描述信息向量输入至LSTM网络模型进行上下文语义特征提取，得到多条异常日志对应的上下文语义特征向量，并输出上下文语义特征向量的概率分布中最大概率对应的报错类型。
一种可能的实施方式中，第一处理模块702可以具体用于：确定异常日志中各词与下一条异常日志中各词之间的语义相似度；根据语义相似度，得到注意力交互矩阵。
一种可能的实施方式中，第一处理模块702可以具体用于：对日志向量与注意力交互矩阵进行连接处理，得到异常日志的描述信息向量。
一种可能的实施方式中，异常日志包含日志头和日志描述信息。对应地，第一处理模块702可以具体用于：提取异常日志中包含的日志描述信息；将异常日志包含的日志描述信息输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。
一种可能的实施方式中，第一处理模块702还具体用于：在预设的字典中，匹配异常日志对应的目标异常类型，字典包含设定错误日志和原因分析的对应关系；若匹配失败，则将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。
一种可能的实施方式中，第一处理模块702还可以用于：若匹配成功，则输出异常日志和目标异常类型对应的异常日志分析结果，异常日志分析结果包含目标算子产生异常的原因。
一种可能的实施方式中，异常日志解析装置还可以包括：显示模块(未示出)和输出模块(未示出)。该显示模块用于显示机器学习建模平台算子运行的界面，该界面包含第一功能控件，第一功能控件用于触发智能日志解析。对应地，输出模块可以用于响应作用于第一功能控件的交互操作，输出报错类型对应的原因分析。
一种可能的实施方式中，上述界面还包含第二功能控件，该第二功能控件用于触发字典的维护，字典包含设定错误日志和原因分析的对应关系。该情况下，异常日志解析装置还可以包括第三处理模块(未示出)。其中，显示模块还可以用于：响应作用于第二功能控件的交互操作，显示字典；第三处理模块还可以用于响应作用于字典的交互操作，针对字典执行交互操作对应的增、删、改、查处理中的一种。
本实施例提供的装置，可以用于执行上述实施例提供的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本申请示例性实施例提供的一种电子设备的结构示意图。如图8所示，本实施例的电子设备可以包括：
至少一个处理器801；以及与所述至少一个处理器通信连接的存储器802；
其中，所述存储器802存储有可被所述至少一个处理器801执行的指令，所述指令被所述至少一个处理器801执行，以使所述电子设备执行如上述任一实施例所述的方法。
可选地，存储器802既可以是独立的，也可以跟处理器801集成在一起。
存储器802可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器801可能是一个中央处理器(Central Processing Unit，CPU)，或者是专用集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。具体的，在实现前述方法实施例所描述的程序运行权限处理方法时，该电子设备例如可以是服务器等具有处理功能的电子设备。
可选的，该电子设备800还可以包括通信接口803。在具体实现上，如果通信接口803、存储器802和处理器801独立实现，则通信接口803、存储器802和处理器801可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口803、存储器802和处理器801集成在一块芯片上实现，则通信接口803、存储器802和处理器801可以通过内部接口完成通信。
本实施例提供的电子设备的实现原理和技术效果可以参见前述各实施例，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现前述任一实施例所述的方法。
上述的计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，可编程只读存储器(Programmable Read Only Memory，PROM)，只读存储器(Read OnlyMemory，ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路中。当然，处理器和可读存储介质也可以作为分立组件存在于程序运行权限处理装置中。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一实施例的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种异常日志解析方法，其特征在于，包括：
在面向目标算子产生异常日志的情况下，获取多条异常日志；
针对多条异常日志中的每一条异常日志，将所述异常日志输入至预训练语言模型进行向量化处理，得到所述异常日志对应的日志向量；基于注意力机制，确定所述异常日志与下一条异常日志的注意力交互矩阵；根据所述日志向量与所述注意力交互矩阵，确定所述异常日志的描述信息向量，所述预训练语言模型包括BERT模型和GPT模型；
将所述多条异常日志对应的描述信息向量输入至长短时记忆结构LSTM网络模型进行上下文语义特征提取，得到所述多条异常日志对应的上下文语义特征向量，并输出所述上下文语义特征向量的概率分布中最大概率对应的报错类型。
2.根据权利要求1所述的异常日志解析方法，其特征在于，所述基于注意力机制，确定所述异常日志与下一条异常日志的注意力交互矩阵，包括：
确定所述异常日志中各词与下一条异常日志中各词之间的语义相似度；
根据所述语义相似度，得到注意力交互矩阵。
3.根据权利要求1所述的异常日志解析方法，其特征在于，所述根据所述日志向量与所述注意力交互矩阵，确定所述异常日志的描述信息向量，包括：
对所述日志向量与所述注意力交互矩阵进行连接处理，得到所述异常日志的描述信息向量。
4.根据权利要求1至3中任一项所述的异常日志解析方法，其特征在于，所述异常日志包含日志头和日志描述信息，所述将所述异常日志输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量，包括：
提取所述异常日志中包含的日志描述信息；
将所述异常日志包含的日志描述信息输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量。
5.根据权利要求1至3中任一项所述的异常日志解析方法，其特征在于，所述将所述异常日志输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量，包括：
在预设的字典中，匹配所述异常日志对应的目标异常类型，所述字典包含设定错误日志和原因分析的对应关系；
若匹配失败，则将所述异常日志输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量。
6.根据权利要求5所述的异常日志解析方法，其特征在于，还包括：
若匹配成功，则输出所述异常日志和所述目标异常类型对应的异常日志分析结果，所述异常日志分析结果包含所述目标算子产生异常的原因。
7.根据权利要求1至3中任一项所述的异常日志解析方法，其特征在于，还包括：
显示机器学习建模平台算子运行的界面，所述界面包含第一功能控件，所述第一功能控件用于触发智能日志解析；
响应作用于所述第一功能控件的交互操作，输出所述报错类型对应的异常日志分析结果。
8.根据权利要求7所述的异常日志解析方法，其特征在于，所述界面还包含第二功能控件，所述第二功能控件用于触发字典的维护，所述字典包含设定错误日志和原因分析的对应关系；所述异常日志解析方法还包括：
响应作用于所述第二功能控件的交互操作，显示字典；
响应作用于所述字典的交互操作，针对所述字典执行交互操作对应的增、删、改、查处理中的一种。
9.一种异常日志解析装置，其特征在于，包括：
获取模块，用于在面向目标算子产生异常日志的情况下，获取多条异常日志；
第一处理模块，用于针对多条异常日志中的每一条异常日志，将所述异常日志输入至预训练语言模型进行向量化处理，得到所述异常日志对应的日志向量；基于注意力机制，确定所述异常日志与下一条异常日志的注意力交互矩阵；根据所述日志向量与所述注意力交互矩阵，确定所述异常日志的描述信息向量，所述预训练语言模型包括BERT模型和GPT模型；
第二处理模块，用于将所述多条异常日志对应的描述信息向量输入至LSTM网络模型进行上下文语义特征提取，得到所述多条异常日志对应的上下文语义特征向量，并输出所述上下文语义特征向量的概率分布中最大概率对应的报错类型。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8中任一项所述的方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8中任一项所述的异常日志解析方法。
CN202310644111.5A 2023-06-01 2023-06-01 异常日志解析方法、装置、设备及介质 Pending CN116611449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310644111.5A CN116611449A (zh) 2023-06-01 2023-06-01 异常日志解析方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310644111.5A CN116611449A (zh) 2023-06-01 2023-06-01 异常日志解析方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116611449A true CN116611449A (zh) 2023-08-18

Family

ID=87685185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310644111.5A Pending CN116611449A (zh) 2023-06-01 2023-06-01 异常日志解析方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116611449A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112446A (zh) * 2023-10-16 2023-11-24 腾讯科技（深圳）有限公司 编辑器调试方法、装置、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112446A (zh) * 2023-10-16 2023-11-24 腾讯科技（深圳）有限公司 编辑器调试方法、装置、电子设备及介质
CN117112446B (zh) * 2023-10-16 2024-02-02 腾讯科技（深圳）有限公司 编辑器调试方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN109697162B (zh) 一种基于开源代码库的软件缺陷自动检测方法
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN110597964B (zh) 一种双录质检语义分析方法、装置及双录质检系统
US7685082B1 (en) System and method for identifying, prioritizing and encapsulating errors in accounting data
CN109299094A (zh) 数据表处理方法、装置、计算机设备和存储介质
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN111028934A (zh) 诊断质检方法、装置、电子设备和存储介质
CN110362798B (zh) 裁决信息检索分析方法、装置、计算机设备和存储介质
CN111339292A (zh) 文本分类网络的训练方法、系统、设备及存储介质
CN113742733A (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN116611449A (zh) 异常日志解析方法、装置、设备及介质
CN111242710A (zh) 业务的分类处理方法、装置、服务平台及存储介质
CN110968664A (zh) 一种文书检索方法、装置、设备及介质
CN111949785A (zh) 查询语句管理方法和装置、可读存储介质、电子设备
CN114580346A (zh) 结合rpa和ai的信息生成方法、装置、电子设备及存储介质
CN113377844A (zh) 面向大型关系型数据库的对话式数据模糊检索方法及装置
CN113657773A (zh) 话术质检方法、装置、电子设备及存储介质
US11494431B2 (en) Generating accurate and natural captions for figures
CN113705207A (zh) 语法错误识别方法及装置
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN116484025A (zh) 漏洞知识图谱构建方法、评估方法、设备及存储介质
CN114970727A (zh) 多标签文本分类方法、系统及计算机设备
CN114067343A (zh) 一种数据集的构建方法、模型训练方法和对应装置
CN113590772A (zh) 异常评分的检测方法、装置、设备及计算机可读存储介质
CN112784573A (zh) 文本情感内容分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination