CN116340777A - 一种日志分类模型的训练方法、日志分类方法及装置 - Google Patents
一种日志分类模型的训练方法、日志分类方法及装置 Download PDFInfo
- Publication number
- CN116340777A CN116340777A CN202310390289.1A CN202310390289A CN116340777A CN 116340777 A CN116340777 A CN 116340777A CN 202310390289 A CN202310390289 A CN 202310390289A CN 116340777 A CN116340777 A CN 116340777A
- Authority
- CN
- China
- Prior art keywords
- log
- model
- classification
- training
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 179
- 238000013145 classification model Methods 0.000 title claims abstract description 165
- 238000012549 training Methods 0.000 title claims abstract description 115
- 239000013598 vector Substances 0.000 claims abstract description 98
- 238000013138 pruning Methods 0.000 claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 58
- 238000012795 verification Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000011282 treatment Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000012804 iterative process Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种日志分类模型的训练方法、日志分类方法及装置。包括：获取日志样本集，对日志样本集中各日志样本进行预处理，得到日志样本的特征向量；基于日志样本的特征向量对待训练模型进行训练处理：在训练过程中，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型；对各候选分类模型进行验证，得到各候选分类模型的验证结果，基于候选分类模型的量级和验证结果确定目标分类模型。本方案通过对日志样本集进行训练处理，在训练过程中对训练模型采取剪枝处理，并对分类模型进行验证，确定目标分类模型，解决分类模型随日志信息越来越多而造成的日志信息分类效率低的问题，提高了分类模型对日志信息分类的准确性和高效性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种日志分类模型的训练方法、日志分类方法及装置。
背景技术
计算机在运行过程中，会产生大量的半结构化日志内容，这些半结构化的日志内容往往包含许多重要的信息。通过对日志数据进行分析可以追溯计算机运行过程中出现的问题，由于数据量较大，因此需要对日志数据进行分类。
目前，人们开始借助人工智能的方法，比如机器学习，深度学习，强化学习等。同时，半结构化运维日志也是一种文本，考虑引入自然语言处理来处理对应的半结构化运维日志，对运维日志进行规则匹配，根据不同的异常问题，设置不同的规则，发现问题。基于文本关键字字符正则匹配的方法效率不高，可以通过借助机器学习，深度学习等方法，自动对数据进行学习，并及时发现异常，查找出问题的原因，保障计算机的正常运行。
基于上述的现有技术方案，随着日志文本量的逐渐增，文本分类的训练模型的工作量也跟着加重，影响模型实时调用的响应时间，降低了日志信息分类的准确率和高效性。
发明内容
本发明提供了一种日志分类模型的训练方法、日志分类方法及装置，以解决分类模型随日志信息越来越多而造成的日志信息分类不准确和效率低的问题。
根据本发明的一方面，提供了一种日志分类模型的训练方法，包括：
获取日志样本集，对日志样本集中各日志样本进行预处理，得到日志样本的特征向量；
基于日志样本的特征向量对待训练模型进行训练处理：在训练过程中，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型；
对各候选分类模型进行验证，得到各候选分类模型的验证结果，基于候选分类模型的量级和验证结果确定目标分类模型。
在训练过程中，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：
在训练过程中的一个或多个迭代过程中，基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，其中，模型参数包括权重和卷积核。
基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，包括：
对于当前次的待训练模型，对于任意相邻的网络层之间权重进行绝对值排序，并基于预设的稀疏度对排序中的部分权重进行剪枝处理；和/或，
基于稀疏度和原卷积核尺寸确定目标卷积核尺寸，基于训练过程中卷积核权重和目标卷积核尺寸进行剪枝处理。
在基于日志样本集对待训练模型进行训练处理之前，方法还包括：基于日志样本集确定目标模型类型；
相应的，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：
对目标模型类型的待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型。
基于日志样本集确定目标模型类型，包括：
基于日志样本集对应的业务场景，确定与业务场景相匹配的目标模型类型；或者，
基于日志样本集训练多个类型的初始模型，并对多个类型的初始模型进行精度验证，基于各初始模型的验证精度确定目标模型类型。
方法还包括：
对目标分类模型中的网络参数进行数据类型的转换，以减小网络参数的比特位。
对日志样本集中各日志样本进行预处理，得到日志样本的特征向量，包括：
对于每一日志样本，提取日志样本的日志模板，确定日志模板的词向量，基于词向量确定日志样本的特征向量。
根据本发明的另一方面，提供了一种日志分类方法，包括：
获取待分类日志，对待分类日志进行预处理，得到待分类日志的特征向量；
基于预训练的轻量级分类模型对特征向量进行分类处理，得到待分类日志的分类结果，其中，轻量级分类模型基于权利要求1-7任一所述的日志分类模型的训练方法得到。
根据本发明的另一方面，提供了一种日志分类模型的训练装置，包括：
第一特征向量确定模块，用于获取日志样本集，对日志样本集中各日志样本进行预处理，得到日志样本的特征向量；
候选分类模型确定模块，用于基于日志样本集对待训练模型进行训练处理：在训练过程中，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型；
目标分类模型确定模块，用于对各候选分类模型进行验证，得到各候选分类模型的验证结果，基于候选分类模型的量级和验证结果确定目标分类模型。
根据本发明的另一方面，提供了一种日志分类装置，包括：
第二特征向量确定模块，用于获取待分类日志，对待分类日志进行预处理，得到待分类日志的特征向量；
日志分类处理模块，用于基于预训练的轻量级分类模型对特征向量进行分类处理，得到待分类日志的分类结果，其中，轻量级分类模型基于任意实施例提供的日志分类模型的训练方法得到。
根据本发明的另一方面，提供了一种电子设备，电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的日志分类模型的训练方法和/或日志分类方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的日志分类模型的训练方法和/或日志分类方法。
本发明实施例的技术方案，通过对日志样本集进行预处理，确定日志信息对应的特征向量，并基于特征向量进行训练处理，在训练过程中对训练模型采取剪枝处理，得到候选分类模型，并对候选分类模型进行验证，确定目标分类模型，解决了分类模型随日志信息越来越多而造成的日志信息分类效率低的问题，使得可以迅速找出准确率高的轻量级模型，可以加速训练过程，提高了分类模型对日志信息分类的准确性、高效性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种日志分类模型的训练方法的流程图；
图2是本发明实施例所适用的一种日志模板提取示意图；
图3是本发明实施例所适用的一种基于稀疏度的剪枝处理示意图；
图4是本发明实施例提供的一种日志分类方法的流程图；
图5是本发明实施例提供的一种日志分类模型的训练装置的结构示意图；
图6是本发明实施例提供的一种日志分类装置的结构示意图；
图7是实现本发明实施例的日志分类模型的训练方法和/或日志分类方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本发明实施例提供的一种日志分类模型的训练方法的流程图，本实施例可适用于训练信息分类模型的情况，该方法可以由日志分类模型的训练装置来执行，该日志分类模型的训练装置可以采用硬件和/或软件的形式实现，该日志分类模型的训练装置可配置于服务器或计算机等电子设备中。如图1所示，该方法包括：
S110、获取日志样本集，对日志样本集中各日志样本进行预处理，得到日志样本的特征向量。
其中，日志样本集具体可以理解为是服务器或计算机在运行过程中产生的大量的日志内容，日志内容一般属于是半结构化的文本内容，可以在计算机运行过程中直接读取，也可以从服务器中调取。日志样本集中的日志信息一般是原始日志，主要由变量和固定不变的部分组成，变量可以包含但不限于响应时间、服务器ip等信息；固定部分是日志的主要构成部分，可以包含但不限于事件的类型和名称，固定格式可以表示原始日志的基本情况。特征向量具体可以理解为是基于日志样本数据的有效特征信息构成的向量，可以包含但不限于词向量等，例如，词向量可以是由词、词性、词位置信息等组成。词向量构建的方法可以包含但不限于One-hot、矩阵分解、word2vec等。
具体的，可以从计算机或者服务器中读取大量的日志样本，构成日志样本集，对日志样本集中的各日志样本进行日志解析、词向量构建等预处理，得到各日志样本的特征向量。
可选的，对日志样本集中各日志样本进行预处理，得到日志样本的特征向量，包括：对于每一日志样本，提取日志样本的日志模板，确定日志模板的词向量，基于词向量确定日志样本的特征向量。
具体的，对日志样本集中的每一日志样本均进行日志解析，根据日志模板提取算法进行解析，提取日志样本的日志模板，即将日志样本中的变量部分替换掉，将固定不变的部分保留下来，作为日志模板，如图2所示的一种日志模板提取示意图，可以将每一日志样本中的变量部分替换成字符，从而得到每一日志样本的日志模板，示例性的，可以将变量部分替换为“*”。对于日志模板的提取算法包含但不限于FT-Tree方法，此处不做限定。可以采用自然语言技术的word2vec进行词向量构建，得到对应日志模板的词向量，进而基于词向量确定日志样本的特征向量。
进一步的，在得到日志模板之后还包括：确定日志模板对应的词位置向量；确定日志模板中各词的词性，并基于词性确定各词对应的权重数据。相应的，基于词向量确定日志样本的特征向量，包括：基于词向量、词位置向量和各词对应的权重数据确定日志模板的特征向量。
其中，词位置向量具体可以理解为是词在日志模板中的位置信息对应的向量，可以将日志模板转换为预设字符长度的模板，确定词在日志模板中的位置，并对词及其对应的位置信息进行向量转换，得到日志模板对应的词位置向量。词性具体可以理解为是日志模板中的各词的词性，可以包含但不限于动词、名词、形容词等。
具体的，可以根据词位置向量转换模型对日志模板对应的词位置进行向量转换，得到日志模板对应的词位置向量。可以对日志模板中的各词进行词性标注，得到日志模板中各词的词性，可以采用自然语言处理方法根据各词的词性设置各词对应的权重数据，其中，自然语言处理方法包括但不限于Jieba、SnowNLP、THULAC、StanfordCoreNLP、Hanlp、NLTK等，这里不做限定。根据词向量、词位置向量和各词对应的权重数据进行向量融合，得到日志模板的特征向量。可以理解的是，本发明通过词性权重来表征各词的重要性，词性重要的词，其对应的权重数据可以适当的放大，而词性相对不重要的词，可以将其对应的权重数据缩小。示例性的，可以将非原生英文单词字符、不具有或鲜有实际意义的英文单词的权重数据调节为0或者极小的数值。将词向量和各词的对应的权重数据相乘，得到中间向量，进而将中间向量与词位置向量相加，得到日志模板的特征向量。在本实施例中，通过对获取的日志样本集中的日志样本进行日志解析、词向量构建等预处理，得到日志样本对应的特征向量，为后续进行日志分类提供了一定的判断依据，使得日志分类更加准确和快速。
S120、基于日志样本的特征向量对待训练模型进行训练处理：在训练过程中，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型。
其中，待训练模型具体可以理解为是根据日志样本的特征而选择适合的深度学习模型，即可以根据日志样本的特征向量选择适合该样本集的深度学习模型。选择待训练模型主要依据先验信息进行选择，不同的数据集对应的深度学习模型往往是不相同的。先验信息指的是相关人员根据长时间的工作积累的经验。比如根据数据集的特征可以选择包含但不限于Bert、TextCNN、RNN等模型，也可以是各种方法的融合得到的模型，此处不做限定。在一些实施例中，待训练模型可以是经选择确定的一种类型的机器学习模型；在一些实施例中，待训练模型可以包括多个类型的机器学习模型。
剪枝处理具体可以理解为是对深度学习模型中的模型参数进行修剪以达到减少参数量和运算量的过程，剪枝处理可以去掉深度学习中不重要的权重，以及深度学习一些不重要的分枝，来得到轻量级的模型。例如可以在训练的过程中，逐步将权重较小的参数置为0，然后把那些权重值为0的参数去掉，以达到减少参数量和/或运算量的效果。
具体的，在对待训练模型进行训练的过程中，对待训练模型执行剪枝处理，在训练的过程中调节模型参数的参数值，以得到轻量化的分类模型。进一步地，针对待训练模型进行并行的训练处理，其中多个相同的待训练模型可进行不同尺度的轻量化处理，以得到不同量级的候选分类模型。
在上述实施例的基础上，对在各待训练模型的剪枝处理后，还可以包括执行模型量化处理，量化主要是使用较小的比特位进行存储权重，以达到轻量级的模型，并且使用较少的比特位储存权重，可以加速深度学习网络的计算过程。在进行量化操作时，模型参数的比特位可以是与剪枝处理的尺度正相关，剪枝尺度越大，可赋予较大的比特位，剪枝尺度越小，可赋予较小的比特位。在不断的训练过程中去掉权重低的部分，直到待训练模型的准确率达到预设的准确率为止，最后得到不同量级的候选分类模型。如图3所示的一种基于稀疏度的剪枝处理示意图中的剪枝处理和量化处理。图3仅为一种示例。
可选的，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：在训练过程中的一个或多个迭代过程中，基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，其中，模型参数包括权重和卷积核。
其中，稀疏度具体可以理解为是在剪枝处理后的模型参数与剪枝前的模型参数的比例值，可以通过分数表示，例如稀疏度为0.6，表示剪枝后的模型的大小为原来模型的60％。
具体的，在剪枝过程中，可以设置多个稀疏度，依据稀疏度对待训练模型进行剪枝处理，得到不同量级的候选分类模型。示例性的，如图3所示的一种基于稀疏度的剪枝处理示意图。设定目标稀疏度为0.8、0.6、0.4，对待训练模型的参数进行剪枝处理，得到三个不同量级的候选分类模型。其中，需要进行剪枝处理的模型参数包括权重和卷积核。
可选的，基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，包括：对于当前次的待训练模型，对于任意相邻的网络层之间权重进行绝对值排序，并基于预设的稀疏度对排序中的部分权重进行剪枝处理；和/或，基于稀疏度和原卷积核尺寸确定目标卷积核尺寸，基于训练过程中卷积核权重和目标卷积核尺寸进行剪枝处理。
此处，对待训练模型的剪枝处理可以是对权重和卷积核的一项或多项进行剪枝。具体的，对权重的剪枝过程：对于当前次的待训练模型，计算模型中的任意相邻的网络层之间权重值，并对权重值进行绝对值排序，可以采用升序或者降序排列，根据设定的稀疏度和排列顺序依次修剪掉卷积核权重值低的部分，得到不同量级的候选分类模型。对卷积核的剪枝过程：根据设定的稀疏度以及原卷积核的尺寸计算出目标卷积核的尺寸，例如图3所示的剪枝示意图，可以设定稀疏度为0.8、0.6、0.4，可以将5×5的卷积核压缩为4×4，3×3，2×2的卷积核，即模型整体压缩就是对卷积这些操作分步执行压缩。在待训练模型的训练过程中，基于卷积核的权重和目标卷积核进行模型的剪枝处理。
在训练过程中的一个或多个迭代过程中，基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，包括：基于日志样本集中的第一部分日志样本对待训练模型进行训练，得到第一模型；基于多个预设的稀疏度对第一模型中的模型参数进行多尺度的剪枝处理，得到多个不同量级的第二模型；基于日志样本集中的第二部分日志样本，分别对各第二模型进行训练，得到不同量级的候选分类模型。
其中，在模型的训练过程中，可以先将日志样本集中的日志样本分成两部分，可以平均分成两部分日志样，也可以按照随机比例将日志样本分成两部分，为了便于区分，分别将这两部分日志称为第一部分日志样本和第二部分日志样本，其中，第一部分日志样本和第二部分日志样本中可包括重叠的样本数据。第一模型和第二模型同样是为了便于区分在训练过程中确定的模型，不具有其他特殊的含义。
具体的，对待训练模型的模型参数进行剪枝处理的过程中，可以先获取日志样本集中的一部分日志样本，作为第一部分的日志样本，基于第一部分日志样本集进行待训练模型的训练，将第一部分的日志样本作为待训练模型的输入，经过依次或者多次迭代过程，得到第一模型。根据多个预设的稀疏度对第一模型中的模型参数进行剪枝处理，得到不同尺度的训练模型，即多个不同量级的第二模型。将第二部分日志样本作为多个第二模型的参数，分别对多个第二模型进行一次或者多次迭代训练，得到不同量级的候选分类模型。
在训练过程中的一个或多个迭代过程中，基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，包括：在任一次迭代过程中，分别对训练过程中的多个待训练模型进行预设数量的模型参数的剪枝处理，并在剪枝后的待训练模型相对于剪枝前的待训练模型满足预设的稀疏度的情况下，停止对剪枝后的待训练模型的剪枝处理，得到不同量级的候选分类模型。
具体的，在任一次的迭代训练过程中，对多个待训练模型进行模型参数的剪枝处理，在剪枝处理过程中，可以按照预设数量进行剪枝，比如预设的稀疏度为60％，在每一次迭代训练的过程中，按照特定比例对多个待训练模型的模型参数进行剪枝处理，即剪枝后的待训练模型相对于剪枝前的待训练模型中的模型参数在每一迭代中减少特定比例，在剪枝后的待训练模型相对于剪枝前的待训练模型满足预设的稀疏度的情况下，可停止剪枝处理，对剪枝后模型中的模型参数进行迭代调节，直到得到训练好的轻量化分类模型。此处每次迭代中的特定比例，可以是根据需求设置，例如可以是1％，5％等。
可选的，在基于日志样本集对待训练模型进行训练处理之前，方法还包括：基于日志样本集确定目标模型类型；其中，目标模型类型主要是根据日志样本集中的日志样本的特征预先确定的模型类型，其中可选的模型类型可以包含但不限于Bert模型、TextCNN模型、RNN模型等。
具体的，在本方案中，对于目标模型类型主要是由相关工作人员依据多年的工作经验的积累依据日志样本集中的日志样本的特征选择的，不同特征的日志样本选取的目标模型类型会有所不同。对于选择的目标模型按照上述不同尺度的剪枝处理方法进行剪枝处理，得到目标模型对应的不同量级的候选分类模型。
可选的，基于日志样本集确定目标模型类型，包括：基于日志样本集对应的业务场景，确定与业务场景相匹配的目标模型类型。
其中，业务场景具体可以理解为某项业务需求的一个实现过程或子过程，不同的业务需求对应不同的业务场景，可以包含但不限于交易场景、系统管理场景、支付场景、运输场景等，此处不作限定。不同的业务场景对应的计算机处理逻辑不同，在运行过程中产生的日志样本也不尽相同，因此选择的目标模型的类型也会有所不同。
具体的，可以根据日志样本集对应的业务场景选择相匹配的目标模型类型，由相关工作人员根据工作积累和业务场景的特征选择匹配的目标模型类型。
可选的，基于日志样本集确定目标模型类型，包括：基于日志样本集训练多个类型的初始模型，并对多个类型的初始模型进行精度验证，基于各初始模型的验证精度确定目标模型类型。
根据日志样本集中的日志样本的特征选择多个类型的初始模型，基于日志样本集对多个类型的初始模型进行训练，分别计算出各个初始模型的日志分类的处理精度值，可以将处理精度最高的初始模型类型作为目标模型类型，还可以设置精度阈值，满足精度阈值的初始模型类型也可以作为目标模型类型。
相应的，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：对目标模型类型的待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型。
在本实施例中，基于日志样本的特征向量对待训练模型进行训练处理：在训练过程中，对待训练模型进行多个不同尺度的剪枝处理，进而加入量化处理，得到不同量级的候选分类模型。经过剪枝处理得到的候选分类模型为后续确定准确度高的日志分类模型提供数据依据。
S130、对各候选分类模型进行验证，得到各候选分类模型的验证结果，基于候选分类模型的量级和验证结果确定目标分类模型。
具体的，调用验证日志样本集，将日志样本集中的各日志样本作为各候选分类模型的输入参数，经过处理后，输出分类结果。对分类结果与目标分类结果进行比对，确定各分类模型的准确度。同时可统计各候选分类模型对各日志样本的处理时长，以统计得到各候选分类模型的处理效率。相应的，验证结果可以包括模型的准确度和处理效率。结合各候选模型的量级和验证结果对各候选分类模型进行判定，以筛选目标分类模型。具体的可以是基于各候选模型的量级和验证结果对各候选分类模型进行评分，选取分数最高的候选分类模型作为目标分类模型。例如，基于量级、准确度和处理效率分别对应的权重进行加权处理，得到各候选分类模型的评分。
进一步的，方法还包括：对目标分类模型中的网络参数进行数据类型的转换，以减小网络参数的比特位。
具体的，对于目标分类模型，如果剪枝后的模型较大，可以通过数据类型转换给予网络参数少量的比特位。比如网络参数的数据类型为long，那么可以根据数据类型转换将long类型转换为float类型，float类型变int类型。例如可以将3.22222存储为3.2，甚至可以存储为3。
本实施例的技术方案，通过对日志样本集进行预处理，确定日志信息对应的特征向量，并基于特征向量进行训练处理，在训练过程中对训练模型通过剪枝和量化进行模型压缩，是并行进行多尺度的压缩，结合运维日志特征本身的特点，选定多尺度的取值，将多尺度压缩的模型中最高的分数的模型自动作为压缩模型的输出，充分对模型进行了多方面的模型压缩，加入量化处理加速模型的训练和推理，本方案在保证运维日志分类模型精准度的同时，达到轻量级的深度学习模型在线投产使用，确定的目标分类模型可以适应不同的数据集，以及各种不同的特征，解决了分类模型随日志信息越来越多而造成的日志信息分类效率低的问题，做多场景运维日志的分类，提升运维日志排障效率。
图4是本发明实施例提供的一种日志分类方法的流程图，本实施例可适用于对信息进行分类的情况，该方法可以由日志分类装置来执行，该日志分类装置可以采用硬件和/或软件的形式实现，该日志分类装置可配置于计算机等电子设备中。如图4所示，该方法包括：
S210、获取待分类日志，对待分类日志进行预处理，得到待分类日志的特征向量。
具体的，可以从计算机或者服务器中读取日志信息作为待分类日志。对待分类日志进行预处理，对各日志样本进行日志解析、词向量构建等预处理，得到各日志的特征向量。
S220、基于预训练的轻量级分类模型对特征向量进行分类处理，得到待分类日志的分类结果。
其中，预训练的轻量级分类模型是基于上述实施例的日志分类模型的训练方法得到。
具体的，通过上述实施例中的训练方法训练得到的预训练的轻量级分类模型对特征向量进行分类处理，将各日志的特征向量作为轻量级分类模型的输入，经过轻量级分类模型的处理后输出分类日志的分类结果。
本实施例的技术方案，通过对获取到的待分类日志信息进行预处理，得到各日志信息对应的特征向量，将上述特征向量通过预训练的轻量级分类模型进行处理，得到待分类日志的分类结果。通过预训练的轻量级分类模型对日志就进行分类，可以实现对多种类型的日志数据进行分类，提高了日志分类的准确性和快速性，有助于后续针对分类完成的日志进行问题排查，提高了根据日志信息进行计算机故障排查的高效性。
图5是本发明实施例提供的一种日志分类模型的训练装置的结构示意图。如图5所示，该装置包括：
第一特征向量确定模块510，用于获取日志样本集，对日志样本集中各日志样本进行预处理，得到日志样本的特征向量；
候选分类模型确定模块520，用于基于日志样本集对待训练模型进行训练处理：在训练过程中，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型；
目标分类模型确定模块530，用于对各候选分类模型进行验证，得到各候选分类模型的验证结果，基于候选分类模型的量级和验证结果确定目标分类模型。
可选的，第一特征向量确定模块510，具体用于对日志样本集中各日志样本进行预处理，得到日志样本的特征向量，包括：对于每一日志样本，提取日志样本的日志模板，确定日志模板的词向量，基于词向量确定日志样本的特征向量。
可选的，候选分类模型确定模块520，具体用于：
对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：在训练过程中的一个或多个迭代过程中，基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，其中，模型参数包括权重和卷积核。
基于多个预设的稀疏度分别对待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，包括：对于当前次的待训练模型，对于任意相邻的网络层之间权重进行绝对值排序，并基于预设的稀疏度对排序中的部分权重进行剪枝处理；和/或，基于稀疏度和原卷积核尺寸确定目标卷积核尺寸，基于训练过程中卷积核权重和目标卷积核尺寸进行剪枝处理。
在基于日志样本集对待训练模型进行训练处理之前，方法还包括：基于日志样本集确定目标模型类型；相应的，对待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：对目标模型类型的待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型。
基于日志样本集确定目标模型类型，包括：
基于日志样本集对应的业务场景，确定与业务场景相匹配的目标模型类型；或者，基于日志样本集训练多个类型的初始模型，并对多个类型的初始模型进行精度验证，基于各初始模型的验证精度确定目标模型类型。
可选的，目标分类模型确定模块530，具体用于方法还包括：对目标分类模型中的网络参数进行数据类型的转换，以减小网络参数的比特位。
本发明实施例所提供的日志分类模型的训练装置可执行本发明任意实施例所提供的日志分类模型的训练方法，具备执行方法相应的功能模块和有益效果。
图6是本发明实施例提供的一种日志分类装置的结构示意图。如图6所示，该装置包括：
第二特征向量确定模块610，用于获取待分类日志，对待分类日志进行预处理，得到待分类日志的特征向量；
日志分类处理模块620，用于基于预训练的轻量级分类模型对特征向量进行分类处理，得到待分类日志的分类结果，其中，轻量级分类模型基于任意实施例的日志分类模型的训练方法得到。
本发明实施例所提供的日志分类装置可执行本发明任意实施例所提供的日志分类方法，具备执行方法相应的功能模块和有益效果。
图7是本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM12以及RAM13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志分类模型的训练方法和/或日志分类方法。
在一些实施例中，日志分类模型的训练方法和/或日志分类方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的日志分类模型的训练方法和/或日志分类方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志分类模型的训练方法和/或日志分类方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的日志分类模型的训练方法和/或日志分类方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种日志分类模型的训练方法和/或日志分类方法，其中，日志分类模型的训练方法包括：获取日志样本集，对日志分类模型的训练方法和/或日志分类方法日志样本集中各日志样本进行预处理，得到日志分类模型的训练方法和/或日志分类方法日志样本的特征向量；
基于日志分类模型的训练方法和/或日志分类方法日志样本的特征向量对待训练模型进行训练处理：在训练过程中，对日志分类模型的训练方法和/或日志分类方法待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型；
对各日志分类模型的训练方法和/或日志分类方法候选分类模型进行验证，得到各日志分类模型的训练方法和/或日志分类方法候选分类模型的验证结果，基于日志分类模型的训练方法和/或日志分类方法候选分类模型的量级和验证结果确定目标分类模型。
日志分类方法包括：获取待分类日志，对日志分类模型的训练方法和/或日志分类方法待分类日志进行预处理，得到日志分类模型的训练方法和/或日志分类方法待分类日志的特征向量；
基于预训练的轻量级分类模型对日志分类模型的训练方法和/或日志分类方法特征向量进行分类处理，得到待分类日志的分类结果，其中，轻量级分类模型基于权利要求1-7任一所述的日志分类模型的训练方法得到。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种日志分类模型的训练方法，其特征在于，包括：
获取日志样本集，对所述日志样本集中各日志样本进行预处理，得到所述日志样本的特征向量；
基于所述日志样本的特征向量对待训练模型进行训练处理：在训练过程中，对所述待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型；
对各所述候选分类模型进行验证，得到各所述候选分类模型的验证结果，基于所述候选分类模型的量级和验证结果确定目标分类模型。
2.根据权利要求1所述的方法，其特征在于，所述在训练过程中，对所述待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：
在所述训练过程中的一个或多个迭代过程中，基于多个预设的稀疏度分别对所述待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，其中，模型参数包括权重和卷积核。
3.根据权利要求2所述的方法，其特征在于，所述基于多个预设的稀疏度分别对所述待训练模型的模型参数进行剪枝处理，得到不同量级的候选分类模型，包括：
对于当前次的待训练模型，对于任意相邻的网络层之间权重进行绝对值排序，并基于所述预设的稀疏度对所述排序中的部分权重进行剪枝处理；和/或，
基于所述稀疏度和原卷积核尺寸确定目标卷积核尺寸，基于训练过程中卷积核权重和所述目标卷积核尺寸进行剪枝处理。
4.根据权利要求1所述的方法，其特征在于，在基于所述日志样本的特征向量对待训练模型进行训练处理之前，所述方法还包括：基于所述日志样本集确定目标模型类型；
相应的，所述对所述待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型，包括：
对所述目标模型类型的待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述日志样本集确定目标模型类型，包括：
基于所述日志样本集对应的业务场景，确定与所述业务场景相匹配的目标模型类型；或者，
基于所述日志样本集训练多个类型的初始模型，并对多个类型的初始模型进行精度验证，基于各所述初始模型的验证精度确定目标模型类型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述目标分类模型中的网络参数进行数据类型的转换，以减小所述网络参数的比特位。
7.根据权利要求1所述的方法，其特征在于，所述对所述日志样本集中各日志样本进行预处理，得到所述日志样本的特征向量，包括：
对于每一日志样本，提取所述日志样本的日志模板，确定所述日志模板的词向量，基于所述词向量确定所述日志样本的特征向量。
8.一种日志分类方法，其特征在于，包括：
获取待分类日志，对所述待分类日志进行预处理，得到所述待分类日志的特征向量；
基于预训练的轻量级分类模型对所述特征向量进行分类处理，得到所述待分类日志的分类结果，其中，所述轻量级分类模型基于权利要求1-7任一所述的日志分类模型的训练方法得到。
9.一种日志分类模型的训练装置，其特征在于，包括：
第一特征向量确定模块，用于获取日志样本集，对所述日志样本集中各日志样本进行预处理，得到所述日志样本的特征向量；
候选分类模型确定模块，用于基于所述日志样本集对待训练模型进行训练处理：在训练过程中，对所述待训练模型进行多个不同尺度的剪枝处理，得到不同量级的候选分类模型；
目标分类模型确定模块，用于对各所述候选分类模型进行验证，得到各所述候选分类模型的验证结果，基于所述候选分类模型的量级和验证结果确定目标分类模型。
10.一种日志分类装置，其特征在于，包括：
第二特征向量确定模块，用于获取待分类日志，对所述待分类日志进行预处理，得到所述待分类日志的特征向量；
日志分类处理模块，用于基于预训练的轻量级分类模型对所述特征向量进行分类处理，得到所述待分类日志的分类结果，其中，所述轻量级分类模型基于权利要求1-7任一所述的日志分类模型的训练方法得到。
11.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的日志分类模型的训练方法，和/或，权利要求8中所述的日志分类方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的日志分类模型的训练方法，和/或，权利要求8中所述的日志分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390289.1A CN116340777A (zh) | 2023-04-12 | 2023-04-12 | 一种日志分类模型的训练方法、日志分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390289.1A CN116340777A (zh) | 2023-04-12 | 2023-04-12 | 一种日志分类模型的训练方法、日志分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116340777A true CN116340777A (zh) | 2023-06-27 |
Family
ID=86887791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310390289.1A Pending CN116340777A (zh) | 2023-04-12 | 2023-04-12 | 一种日志分类模型的训练方法、日志分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116340777A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116708023A (zh) * | 2023-07-28 | 2023-09-05 | 中国电信股份有限公司 | 流量异常检测方法、装置、电子设备和可读存储介质 |
-
2023
- 2023-04-12 CN CN202310390289.1A patent/CN116340777A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116708023A (zh) * | 2023-07-28 | 2023-09-05 | 中国电信股份有限公司 | 流量异常检测方法、装置、电子设备和可读存储介质 |
| CN116708023B (zh) * | 2023-07-28 | 2023-10-27 | 中国电信股份有限公司 | 流量异常检测方法、装置、电子设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112466288A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
| US20230162477A1 (en) | Method for training model based on knowledge distillation, and electronic device | |
| CN113360711B (zh) | 视频理解任务的模型训练和执行方法、装置、设备及介质 | |
| CN116629620B (zh) | 一种风险等级确定方法、装置、电子设备及存储介质 | |
| CN114282670A (zh) | 神经网络模型的压缩方法、设备和存储介质 | |
| CN115454706A (zh) | 一种系统异常确定方法、装置、电子设备及存储介质 | |
| CN116340777A (zh) | 一种日志分类模型的训练方法、日志分类方法及装置 | |
| CN115168562A (zh) | 一种智能问答系统的构建方法、装置、设备及介质 | |
| CN111488501A (zh) | 一种基于云平台的电商统计系统 | |
| CN113408280A (zh) | 负例构造方法、装置、设备和存储介质 | |
| CN116340831B (zh) | 一种信息分类方法、装置、电子设备及存储介质 | |
| CN117076610A (zh) | 一种数据敏感表的识别方法、装置、电子设备及存储介质 | |
| CN116755974A (zh) | 云计算平台运维方法、装置、电子设备及存储介质 | |
| CN116955075A (zh) | 一种基于日志的解析语句生成方法、装置、设备及介质 | |
| CN113743112B (zh) | 关键词的提取方法、装置、电子设备及可读存储介质 | |
| CN114882388A (zh) | 多任务模型的训练及预测方法、装置、设备和介质 | |
| CN113963011A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN114119972A (zh) | 模型获取及对象处理方法、装置、电子设备及存储介质 | |
| CN113807390A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN115982366A (zh) | 一种日志分类方法、装置、电子设备及存储介质 | |
| CN117493514B (zh) | 文本标注方法、装置、电子设备和存储介质 | |
| CN113642495B (zh) | 用于评价时序提名的模型的训练方法、设备、程序产品 | |
| CN117574146B (zh) | 文本分类标注方法、装置、电子设备和存储介质 | |
| CN116308172A (zh) | 一种制度条目的确定方法、装置、设备及存储介质 | |
| CN113963287A (zh) | 评分模型获取及视频识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |