CN115495314A - 日志模板的识别方法、装置、电子设备和可读介质 - Google Patents

日志模板的识别方法、装置、电子设备和可读介质 Download PDF

Info

Publication number
CN115495314A
CN115495314A CN202211211322.1A CN202211211322A CN115495314A CN 115495314 A CN115495314 A CN 115495314A CN 202211211322 A CN202211211322 A CN 202211211322A CN 115495314 A CN115495314 A CN 115495314A
Authority
CN
China
Prior art keywords
log template
constraint
word
recognition model
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211211322.1A
Other languages
English (en)
Inventor
罗昊然
陈康
付华峥
韦登荣
郑永坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202211211322.1A priority Critical patent/CN115495314A/zh
Publication of CN115495314A publication Critical patent/CN115495314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3079—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by reporting only the changes of the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供一种日志模板的识别方法、装置、电子设备和可读介质，其中，日志模板的识别方法包括：在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束；基于增加条件约束后的损失函数和日志模板的数据样本集对识别模型进行训练。通过本公开实施例，增强了识别模型的约束条件，减少了数据样本集的数据量，降低了数据样本集和识别模型的维护难度，提高了日志模板识别的可靠性和效率。

Description

日志模板的识别方法、装置、电子设备和可读介质
技术领域
本公开涉及机器学习技术领域，具体而言，涉及一种日志模板的识别方法、装置、电子设备和可读介质。
背景技术
目前，日志信息是运维过程中最广泛使用的数据之一。一条日志一般由两部分：“模板”和“参数”组成，生成日志时往往遵循一个确定的模板，往其中填入符合系统运行情况的不同“参数”。例如日志：“PacketResponder 0 for block blk_4003 terminating”中下划线部分所示的两项参数“0”和“blk_4003”。
在相关技术中，日志是由程序开发者自行构建，在满足特定条件时发送的文本信息，因此具有很强的主观性和随意性。对系统运维人员来说，一般关注其中的“模板”部分，特定模板的出现就代表了系统当前运行状态可能存在异常。
但是，在现代系统模块逐渐增多，底层架构也逐渐复杂化的情况下，运维人员难以学习、掌握这些模块中的所有日志模板，因此，难以对大量的日志进行有效分析。另外，由于需要大量的数据样本集对识别模型进行训练，不仅导致对识别模型的训练效率低下，而且导致了对识别模型和数据样本集进行维护的数据量骤增。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种日志模板的识别方法、装置、电子设备和可读介质，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的用于训练的数据样本集的数据量大的问题。
根据本公开实施例的第一方面，提供一种日志模板的识别方法，包括：在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束；基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练。
在本公开的一种示例性实施例中，还包括：将所述待识别的日志模板输入至训练后的识别模型，以确定所述识别模型输出的可识别词条对应的第一类向量；和/或，将所述识别模型输出的不可识别词条输入至神经网络模型进行回归计算；根据所述神经网络模型的回归计算结果确定所述不可识别词条对应的第二类向量；根据所述第一类向量和/或所述第二类向量确定所述待识别的日志模板对应的向量，其中，所述神经网络模型的识别结果的维数与已经过所述识别模型计算的词条的维数相同。
在本公开的一种示例性实施例中，还包括：对所述日志模板对应的向量进行加权平均；根据所述加权平均的计算结果确定所述日志模板的向量表示；基于所述向量表示确定所述日志模板的分类类型。
在本公开的一种示例性实施例中，还包括：将人工标注的日志模板输入至已训练的识别模型，并根据所述识别模型的输出结果生成所述向量空间，所述向量空间中包括所述人工标注的日志模板的分类类型和对应的向量表示。
在本公开的一种示例性实施例中，在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束包括：确定所述近义词条件约束的表达式为：
Figure BDA0003875212420000021
和/或确定所述近义词条件约束的表达式为：
Figure BDA0003875212420000022
将所述近义词条件约束的表达式和所述反义词条件约束的表达式增加至所述损失函数中，所述w表征所述识别模型的数据样本集中的词条，所述S(w)表征所述w的近义词词库，所述u表征所述近义词词库中的近义词，所述A(w)表征所述w的反义词词库，所述v表征所述反义词词库中的反义词，所述c表征所述数据样本集中除所述w以外的词条，所述W(c)表征与所述c同时出现概率高于预设概率的词条对应的词库，所述#(w,v)表征所述w和所述v的出现次数，所述sim(w,v)表征所述w和所述v之间的余弦相似度。
在本公开的一种示例性实施例中，将所述近义词条件约束的表达式和所述反义词条件约束的表达式增加至所述损失函数中包括：确定所述损失函数的表达式为：∑w∈V∑c∈V{#(w,c)logσ(sim(w,c))+k#(w)P0(c)logσ(-sim(w,c))}；根据所述近义词条件约束的表达式、所述反义词条件约束的表达式和所述损失函数的表达式确定增加约束后的损失函数的表达式为：
Figure BDA0003875212420000031
Figure BDA0003875212420000032
Figure BDA0003875212420000033
其中，所述L表征增加约束后的损失函数，所述P0(c)表征所述c在所述数据样本集中的出现概率，所述k表征预设的常数系数，所述σ表征sigmoid函数，所述V表征所述数据样本集。
在本公开的一种示例性实施例中，通过扩充后的所述数据样本集对所述识别模型进行训练包括：确定所述数据样本集对应的标签；基于所述标签和所述数据样本集对所述识别模型和所述神经网络模型进行训练。
根据本公开实施例的第二方面，提供一种日志模板的识别装置，包括：训练模块，设置为在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束；所述训练模块，设置为基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练。
根据本公开的第三方面，提供一种电子设备，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的日志模板的识别方法。
本公开实施例，通过在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束，并基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练，降低了对数据样本集的数据量要求，降低了数据样本集和识别模型的维护难度，提高了日志模板识别的可靠性和效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本发明实施例的日志模板的识别方案的示例性系统架构的示意图；
图2是本公开示例性实施例中一种日志模板的识别方法的流程图；
图3是本公开示例性实施例中另一种日志模板的识别方法的流程图；
图4是本公开示例性实施例中另一种日志模板的识别方法的流程图；
图5是本公开示例性实施例中另一种日志模板的识别方法的流程图；
图6是本公开示例性实施例中另一种日志模板的识别方法的流程图；
图7是本公开示例性实施例中另一种日志模板的识别方法的流程图；
图8是本公开示例性实施例中一种日志模板的识别装置的方框图；
图9是本公开示例性实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本发明实施例的日志模板的识别方案的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
在一些实施例中，本发明实施例所提供的日志模板的识别方法一般由终端105执行，相应地，日志模板的识别装置一般设置于终端设备103(也可以是终端设备101或102)中。在另一些实施例中，某些服务器可以具有与终端设备相似的功能从而执行本方法。因此，本发明实施例所提供的日志模板的识别方法不限定在终端设备执行。
下面结合附图对本公开示例实施方式进行详细说明。
图2是本公开示例性实施例中日志模板的识别方法的流程图。
参考图2，日志模板的识别方法可以包括：
步骤S202，在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束。
步骤S204，基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练。
本公开实施例，通过在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束，并基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练，提高了日志模板识别的可靠性和效率，也降低了对数据样本集的数据量要求，进而降低了数据样本集和识别模型的维护难度。
下面，对日志模板的识别方法的各步骤进行详细说明。
在本公开的一种示例性实施例中，如图3所示，日志模板的识别方法还包括：
步骤S302，将所述待识别的日志模板输入至训练后的识别模型，以确定所述识别模型输出的可识别词条对应的第一类向量。
步骤S304，将所述识别模型输出的不可识别词条输入至神经网络模型进行回归计算。
步骤S306，根据所述神经网络模型的回归计算结果确定所述不可识别词条对应的第二类向量。
步骤S308，根据所述第一类向量和/或所述第二类向量确定所述待识别的日志模板对应的向量，其中，所述神经网络模型的识别结果的维数与已经过所述识别模型计算的词条的维数相同。
在本公开的一种示例性实施例中，通过将所述待识别的日志模板输入至训练后的识别模型，以确定所述识别模型输出的可识别词条对应的第一类向量，并将所述识别模型输出的不可识别词条输入至神经网络模型进行回归计算，进而根据所述神经网络模型的回归计算结果确定所述不可识别词条对应的第二类向量，最后根据所述第一类向量和/或所述第二类向量确定所述待识别的日志模板对应的向量，进一步地提升了识别模型的可靠性，提升了对日志模板进行提取的准确性。
在本公开的一种示例性实施例中，如图4所示，日志模板的识别方法还包括：
步骤S402，对所述日志模板对应的向量进行加权平均。
步骤S404，根据所述加权平均的计算结果确定所述日志模板的向量表示。
步骤S406，基于所述向量表示确定所述日志模板的分类类型。
在本公开的一种示例性实施例中，如图5所示，还包括：
步骤S502，将人工标注的日志模板输入至已训练的识别模型，并根据所述识别模型的输出结果生成所述向量空间，所述向量空间中包括所述人工标注的日志模板的分类类型和对应的向量表示。
在本公开的一种示例性实施例中，上述人工标注的具体步骤包括：读取日志消息队列中的第一指定分类的日志模板，对读取的日志模板进行分类预测，将分类预测的结果上报至第二指定分类中，继续对第二指定分类的日志模板进行人工标注。
在本公开的一种示例性实施例中，在确定待识别的日志模板的向量表达后，通过待识别的日志模板的向量表达与向量空间中的向量表达之间的相似度(或距离或余弦相似度)，来确定待识别的日志模板对应的分类类型。
在本公开的一种示例性实施例中，在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束包括：
确定所述近义词条件约束的表达式为：
Figure BDA0003875212420000071
和/或确定所述近义词条件约束的表达式为：
Figure BDA0003875212420000072
将所述近义词条件约束的表达式和所述反义词条件约束的表达式增加至所述损失函数中，所述w表征所述识别模型的数据样本集中的词条，所述S(w)表征所述w的近义词词库，所述u表征所述近义词词库中的近义词，所述A(w)表征所述w的反义词词库，所述v表征所述反义词词库中的反义词，所述c表征所述数据样本集中除所述w以外的词条，所述W(c)表征与所述c同时出现概率高于预设概率的词条对应的词库，所述#(w,v)表征所述w和所述v的出现次数，所述sim(w,v)表征所述w和所述v之间的余弦相似度。
在本公开的一种示例性实施例中，将所述近义词条件约束的表达式和所述反义词条件约束的表达式增加至所述损失函数中包括：
确定所述损失函数的表达式为：
Figure BDA0003875212420000081
根据所述近义词条件约束的表达式、所述反义词条件约束的表达式和所述损失函数的表达式确定增加约束后的损失函数的表达式为：
Figure BDA0003875212420000082
其中，所述L表征增加约束后的损失函数，所述P0(c)表征所述c在所述数据样本集中的出现概率，所述k表征预设的常数系数，所述σ表征sigmoid函数，sigmoid函数表达式为σ(x)＝1/(1+e-x)，所述V表征所述数据样本集。
在本公开的一种示例性实施例中，如图6所示，通过扩充后的所述数据样本集对所述识别模型进行训练包括：
步骤S602，确定所述数据样本集对应的标签。
步骤S604，基于所述标签和所述数据样本集对所述识别模型和所述神经网络模型进行训练。
在本公开的一种示例性实施例中，如图7所示，日志模板的识别方案基于日志处理系统700实现，日志处理系统700包括数据I/O模块、预处理模块、模板提取模块、词向量提取模块、未知词向量生成模块、句子向量化模块和最近邻分类器，实现本公开的技术方案的具体实施过程包括：
①数据IO模块：该模块由一个kafka consumer(kafka消费者)和一个kafkaproducer(kafka生产者)复合而成，对系统源源不断的日志数据进行流式处理。该模块使用consumer部分从kafka消息队列的特定topic(主题)中读取日志模板，预测其对应的类别；预测完毕后，再由producer部分将分类结果上传到另一个topic中。
②预处理模块：该模块负责进行模板的预处理，包括中/英文分词，标点符号过滤，哈希值替换等常用方法。
③模板提取模块：该模块负责从大量的日志中提取出相对少数的模板，此处可以应用很多市面上较为成熟的模板提取算法，例如“Drain”、“Spell”等。这部分提取出的模板，有一部分经过了人工处理后已经被打上了标签，这一部分模板和对应的标签会直接输出到消息队列中；剩余的模板则被送入本公开提出的模型结构(④-⑥)。这些未被标记的模板，绝大多数都是在系统运行时新生成的，运维人员还来不及对它们进行标记。
④词向量提取模块：该模块负责基于日志模板生成词向量。目前市面上有很多基于wikidump(维基百科)等超大语料库的预训练(pre-trained)词向量可以选用，但日志模板数据样本集当中包括很大比例的IT领域专有名词，因此预训练词向量的效果较差。基于此，本公开提出的模型选择手工生成，将每条日志模板视为一个完整的“句子”，使用word2vec方法来提取每个单词的词向量。由于日志模板当中的单词数量较少，因此本公开还使用了语料库中特定单词释义的近义词/反义词，在损失函数层面对模型输出加以进一步约束。
具体来说，本公开采用的数据样本集扩充方式如下：
通常word2vec模型使用的损失函数为考虑负采样的skip-gram损失，word2vec模型是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本，考虑词典(可以作为数据样本集)里的特定单词w，模型需要最大化那些经常与它一起出现的单词的相似度。此外，从模型词典中随机采样k个单词，这些单词恰巧与w一同出现的概率很低，因此模型需要最小化它们之间的相似度。
上述SGNS(skip-gram negative sampling)模型的损失函数如下：
Figure BDA0003875212420000101
然而，由于日志文本具有“词典个数少、专有名词多、相同单词重复出现次数多”的特点，因此上述负采样部分的假设将受到挑战，本公开恰恰基于近义词/反义词扩充原理，通过对SGNS损失函数进行修改，解决了上述问题。
对于单词w，设定它的近义(包括同义等)词集合(词库)为S(w)。若该单词存在一些近义词，那么直观上可以认为该单词和这些近义词的距离应当较近。其中，计算的前提是“该近义词实际出现在数据样本集中”。
本公开在上述SGNS损失函数中，额外增加了下列项，以反映该约束条件。其中W(c)是一个使用本地互信息(LMI)构建的集合，包含了与单词c一同出现的概率高于均值的单词，#表示出现次数，c为除w以外的词，近义词约束条件的表达式包括：
Figure BDA0003875212420000102
而对于反义词集合A(w)，本公开也使用同样的方法，来让单词距离这些反义词的距离较远，反义词约束条件的表达式包括：：
Figure BDA0003875212420000103
综上，本公开的识别模型对应的损失函数如下所示：
Figure BDA0003875212420000104
本公开采用的上述方法，相当于在原始数据样本集的基础上，通过近义词/反义词的条件来进一步约束模型的输出，是通过增强约束而非扩充数据样本集来解决训练样本较少的问题，减少了训练所需的数据样本集的数据量，进而降低了数据维护成本，提高了训练效率和识别模型的可靠性。
⑤未知词向量生成模块：新生成的模板往往伴随着新的单词，主要是指无法通过识别模型确定的词条。常规的词向量系统会直接忽略这些单词，但在日志模板处理中，这些单词往往直接包含了故障类型或故障组件的名称，重要性较高。基于此，本公开还提出了一种使用LSTM(Long Short-Term Memory，指长短期记忆人工神经网络)神经网络模型，对已训练完成的词向量进行处理，以生成未知的词对应向量的方法。
其中，该神经网络模型的输入为一系列的字母(包括汉字和特殊字符)，每个字母对应约kemb维的向量，模型预测的结果为kw2v维，大小和原始词向量一致的向量，而不是日志处理领域当中经常出现的，归一化的“日志模板分类概率”。将任意的字母进行组合后作为序列输入模型，LSTM模型都能输出kw2v维的、可用于后续计算的向量。其中，kemb和kw2v通常为正整数，在实际应用场景中可以分别取20和64。
另外，为了保持原有的word2vec模型的性质，对于那些已经在原有word2vec模型里计算过的词向量，LSTM输出的结果要和它们尽可能地接近。因此，本公开在训练阶段将原词典中所有的词作为输入，采用了L2损失函数(平均平方误差)作为目标函数。
⑥句子向量化模块和最近邻分类器：当组件④和⑤训练完毕后，模型能够将任意的单词转化为特定维数的向量。对于任意的日志模板“句子”，模型计算(或查找)其中每个单词对应的向量，TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)，对它们使用TF-IDF加权平均后，或是简单平均就得到了这个句子的向量表示。若目标模板是未分类的，在空间中查找与该句子的余弦距离最近的已分类模板，取这一模板对应的类别作为目标模板的类别。本公开提出的识别模型使用了nnDescent算法，即K近邻图的一种实施例，加速了日志模板的运算过程。
对应于上述方法实施例，本公开还提供一种日志模板的识别装置，可以用于执行上述方法实施例。
图8是本公开示例性实施例中一种日志模板的识别装置的方框图。
参考图8，日志模板的识别装置800可以包括：
训练模块802，设置为在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束。
所述训练模块802还设置为，基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练。
在本公开的一种示例性实施例中，还包括：识别模块804，设置为将所述待识别的日志模板输入至训练后的识别模型，以确定所述识别模型输出的可识别词条对应的第一类向量；和/或，将所述识别模型输出的不可识别词条输入至神经网络模型进行回归计算；根据所述神经网络模型的回归计算结果确定所述不可识别词条对应的第二类向量；根据所述第一类向量和/或所述第二类向量确定所述待识别的日志模板对应的向量，其中，所述神经网络模型的识别结果的维数与已经过所述识别模型计算的词条的维数相同。
在本公开的一种示例性实施例中，识别模块804还设置为：对所述日志模板对应的向量进行加权平均；根据所述加权平均的计算结果确定所述日志模板的向量表示；基于所述向量表示确定所述日志模板的分类类型。
在本公开的一种示例性实施例中，识别模块804还设置为：将人工标注的日志模板输入至已训练的识别模型，并根据所述识别模型的输出结果生成所述向量空间，所述向量空间中包括所述人工标注的日志模板的分类类型和对应的向量表示。
在本公开的一种示例性实施例中，训练模块802还设置为：确定所述近义词条件约束的表达式为：
Figure BDA0003875212420000121
和/或确定所述近义词条件约束的表达式为：
Figure BDA0003875212420000122
将所述近义词条件约束的表达式和所述反义词条件约束的表达式增加至所述损失函数中，所述w表征所述识别模型的数据样本集中的词条，所述S(w)表征所述w的近义词词库，所述u表征所述近义词词库中的近义词，所述A(w)表征所述w的反义词词库，所述v表征所述反义词词库中的反义词，所述c表征所述数据样本集中除所述w以外的词条，所述W(c)表征与所述c同时出现概率高于预设概率的词条对应的词库，所述#(w,v)表征所述w和所述v的出现次数，所述sim(w,v)表征所述w和所述v之间的余弦相似度。
在本公开的一种示例性实施例中，训练模块802还设置为：确定所述损失函数的表达式为：∑w∈V∑c∈V{#(w,c)logσ(sim(w,c))+k#(w)P0(c)logσ(-sim(w,c))}；根据所述近义词条件约束的表达式、所述反义词条件约束的表达式和所述损失函数的表达式确定增加约束后的损失函数的表达式为：
Figure BDA0003875212420000131
Figure BDA0003875212420000132
Figure BDA0003875212420000133
其中，所述L表征增加约束后的损失函数，所述P0(c)表征所述c在所述数据样本集中的出现概率，所述k表征预设的常数系数，所述σ表征sigmoid函数，所述V表征所述数据样本集。
在本公开的一种示例性实施例中，训练模块802还设置为：确定所述数据样本集对应的标签；基于所述标签和所述数据样本集对所述识别模型和所述神经网络模型进行训练。
由于日志模板的识别装置800的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如本公开实施例所示的方法。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备940(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。

Claims (10)

1.一种日志模板的识别方法，其特征在于，包括：
在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束；
基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练。
2.如权利要求1所述的日志模板的识别方法，其特征在于，还包括：
将所述待识别的日志模板输入至训练后的识别模型，以确定所述识别模型输出的可识别词条对应的第一类向量；
和/或，将所述识别模型输出的不可识别词条输入至神经网络模型进行回归计算；
根据所述神经网络模型的回归计算结果确定所述不可识别词条对应的第二类向量；
根据所述第一类向量和/或所述第二类向量确定所述待识别的日志模板对应的向量，
其中，所述神经网络模型的识别结果的维数与已经过所述识别模型计算的词条的维数相同。
3.如权利要求2所述的日志模板的识别方法，其特征在于，还包括：
对所述日志模板对应的向量进行加权平均；
根据所述加权平均的计算结果确定所述日志模板的向量表示；
基于所述向量表示和预设的向量空间确定所述日志模板的分类类型。
4.如权利要求3所述的日志模板的识别方法，其特征在于，还包括：
将人工标注的日志模板输入至已训练的识别模型，并根据所述识别模型的输出结果生成所述向量空间，所述向量空间中包括所述人工标注的日志模板的分类类型和对应的向量表示。
5.如权利要求1所述的日志模板的识别方法，其特征在于，在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束包括：
确定所述近义词条件约束的表达式为：
Figure FDA0003875212410000021
和/或确定所述近义词条件约束的表达式为：
Figure FDA0003875212410000022
将所述近义词条件约束的表达式和所述反义词条件约束的表达式增加至所述损失函数中，所述w表征所述识别模型的数据样本集中的词条，所述S(w)表征所述w的近义词词库，所述u表征所述近义词词库中的近义词，所述A(w)表征所述w的反义词词库，所述v表征所述反义词词库中的反义词，所述c表征所述数据样本集中除所述w以外的词条，所述W(c)表征与所述c同时出现概率高于预设概率的词条对应的词库，所述#(w,v)表征所述w和所述v的出现次数，所述sim(w,v)表征所述w和所述v之间的余弦相似度。
6.如权利要求5所述的日志模板的识别方法，其特征在于，将所述近义词条件约束的表达式和所述反义词条件约束的表达式增加至所述损失函数中包括：
确定所述损失函数的表达式为：
Figure FDA0003875212410000023
根据所述近义词条件约束的表达式、所述反义词条件约束的表达式和所述损失函数的表达式确定增加约束后的损失函数的表达式为：
Figure FDA0003875212410000024
其中，所述L表征增加约束后的损失函数，所述P0(c)表征所述c在所述数据样本集中的出现概率，所述k表征预设的常数系数，所述σ表征sigmoid函数，所述V表征所述数据样本集。
7.如权利要求1-3中任一项所述的日志模板的识别方法，其特征在于，通过扩充后的所述数据样本集对所述识别模型进行训练包括：
确定所述数据样本集对应的标签；
基于所述标签和所述数据样本集对所述识别模型和所述神经网络模型进行训练。
8.一种日志模板的识别装置，其特征在于，包括：
训练模块，设置为在待识别的日志模板对应的识别模型的损失函数中增加近义词条件约束和反义词条件约束；
所述训练模块，设置为基于增加条件约束后的损失函数和所述日志模板的数据样本集对所述识别模型进行训练。
9.一种电子设备，其特征在于，包括：
存储器；以及
耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-7任一项所述的日志模板的识别方法。
10.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1-7任一项所述的日志模板的识别方法。
CN202211211322.1A 2022-09-30 2022-09-30 日志模板的识别方法、装置、电子设备和可读介质 Pending CN115495314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211211322.1A CN115495314A (zh) 2022-09-30 2022-09-30 日志模板的识别方法、装置、电子设备和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211211322.1A CN115495314A (zh) 2022-09-30 2022-09-30 日志模板的识别方法、装置、电子设备和可读介质

Publications (1)

Publication Number Publication Date
CN115495314A true CN115495314A (zh) 2022-12-20

Family

ID=84472344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211211322.1A Pending CN115495314A (zh) 2022-09-30 2022-09-30 日志模板的识别方法、装置、电子设备和可读介质

Country Status (1)

Country Link
CN (1) CN115495314A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051560A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 文本分类方法和装置、电子设备、计算机非易失性可读存储介质
CN112949255A (zh) * 2019-12-11 2021-06-11 中国移动通信有限公司研究院 一种词向量训练方法及装置
CN112966523A (zh) * 2021-03-15 2021-06-15 山东建筑大学 基于语义关系约束的词向量修正方法及计算系统
WO2021151292A1 (zh) * 2020-08-28 2021-08-05 平安科技（深圳）有限公司 基于掩码语言模型的语料检测方法、装置、设备及介质
CN114416479A (zh) * 2022-01-12 2022-04-29 大连海事大学 一种基于流外正则化的日志序列异常检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051560A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 文本分类方法和装置、电子设备、计算机非易失性可读存储介质
CN112949255A (zh) * 2019-12-11 2021-06-11 中国移动通信有限公司研究院 一种词向量训练方法及装置
WO2021151292A1 (zh) * 2020-08-28 2021-08-05 平安科技（深圳）有限公司 基于掩码语言模型的语料检测方法、装置、设备及介质
CN112966523A (zh) * 2021-03-15 2021-06-15 山东建筑大学 基于语义关系约束的词向量修正方法及计算系统
CN114416479A (zh) * 2022-01-12 2022-04-29 大连海事大学 一种基于流外正则化的日志序列异常检测方法

Similar Documents

Publication Publication Date Title
CN107679039B (zh) 用于确定语句意图的方法和装置
CN111291195B (zh) 一种数据处理方法、装置、终端及可读存储介质
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN107861954B (zh) 基于人工智能的信息输出方法和装置
CN112256860A (zh) 客服对话内容的语义检索方法、系统、设备及存储介质
Wang et al. Learning distributed word representations for bidirectional lstm recurrent neural network
US10915756B2 (en) Method and apparatus for determining (raw) video materials for news
CN111783450B (zh) 语料文本中的短语提取方法、装置、存储介质及电子设备
CN114676255A (zh) 文本处理方法、装置、设备、存储介质及计算机程序产品
CN112528654A (zh) 自然语言处理方法、装置及电子设备
CN113761190A (zh) 文本识别方法、装置、计算机可读介质及电子设备
CN114218945A (zh) 实体识别方法、装置、服务器及存储介质
CN110309278B (zh) 关键词检索方法、装置、介质及电子设备
CN113918710A (zh) 文本数据处理方法、装置、电子设备和可读存储介质
CN112417860A (zh) 训练样本增强方法、系统、设备及存储介质
US20230139642A1 (en) Method and apparatus for extracting skill label
CN114896404A (zh) 文档分类方法及装置
CN115114924A (zh) 命名实体识别方法、装置、计算设备和存储介质
CN111626055B (zh) 文本处理方法及装置、计算机存储介质、电子设备
CN115495314A (zh) 日志模板的识别方法、装置、电子设备和可读介质
CN116798417B (zh) 语音意图识别方法、装置、电子设备及存储介质
CN114841162B (zh) 文本处理方法、装置、设备及介质
CN117077656B (zh) 论证关系挖掘方法、装置、介质及电子设备
US11663251B2 (en) Question answering approach to semantic parsing of mathematical formulas
Shahade et al. Deep learning approach-based hybrid fine-tuned Smith algorithm with Adam optimiser for multilingual opinion mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination