CN117370284B - 一种日志错误数据追踪方法及系统 - Google Patents

一种日志错误数据追踪方法及系统 Download PDF

Info

Publication number
CN117370284B
CN117370284B CN202311676496.XA CN202311676496A CN117370284B CN 117370284 B CN117370284 B CN 117370284B CN 202311676496 A CN202311676496 A CN 202311676496A CN 117370284 B CN117370284 B CN 117370284B
Authority
CN
China
Prior art keywords
log
log information
maintenance
subset
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311676496.XA
Other languages
English (en)
Other versions
CN117370284A (zh
Inventor
王国章
黄振琳
朱建建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
And Yuan Da Mdt Infotech Ltd
Original Assignee
And Yuan Da Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by And Yuan Da Mdt Infotech Ltd filed Critical And Yuan Da Mdt Infotech Ltd
Priority to CN202311676496.XA priority Critical patent/CN117370284B/zh
Publication of CN117370284A publication Critical patent/CN117370284A/zh
Application granted granted Critical
Publication of CN117370284B publication Critical patent/CN117370284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志错误数据追踪方法及系统，包括：基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型；根据日志预警项将所述第一日志信息与所述第一子集中的日志信息进行匹配，若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，获取所述第一日志信息的错误类别；若匹配失败，则对所述第一日志信息进行重定义，生成第二日志信息，根据所述第一日志识别模型提取所述第二日志信息的特征表达，从而确定错误类别，根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，并根据所述日志运维编码匹配运维方案。

Description

一种日志错误数据追踪方法及系统
技术领域
本发明涉及日志追踪技术领域，尤其涉及一种日志错误数据追踪方法及系统。
背景技术
目前，随着分布式应用的普及，应用系统大多根据模块化开发，各个模块的开发团队也可能不同，同时，应用系统中服务与服务之间的调用也比较多，系统的日志错误数据追踪则就显得尤其的重要。
现有的日志错误追踪方法，通过人工巡检的方式对每个服务的日志进行调取检查。然而，当应用系统出现了异常，分布式应用的多个服务可能同时发出错误，此时如果根据人工查看日志对日志错误数据进行追踪，耗费时间长，维护成本高操作步骤复杂，巡检效率低。
发明内容
本发明提供了一种日志错误数据追踪方法及系统，以解决现有日志错误追踪方法通过人工巡检，耗时长、成本高且效率低的技术问题。
为了解决上述技术问题，本发明实施例提供了一种日志错误数据追踪方法，包括：
创建历史日志信息库，根据预设格式对所述历史日志信息库中的日志文件进行格式化处理；并根据所述历史日志信息库构建第一子集和第二子集；所述预设格式包括日志链路编码、日志文件名、日志内容、日志预警项和日志运维编码；
基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型；所述目标函数为多融合损失函数；
采集第一日志信息，对所述第一日志信息进行预处理；并根据日志预警项将所述第一日志信息与所述第一子集中的日志信息进行匹配，若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，获取所述第一日志信息的错误类别；若匹配失败，则对所述第一日志信息进行重定义，生成第二日志信息，根据所述第一日志识别模型提取所述第二日志信息的特征表达，并根据所述第二日志信息的特征表达更新第一子集；
根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，并根据所述日志运维编码匹配运维方案，根据匹配所得的运维方案对系统进行维护，并根据维护结果和全链路日志信息生成运维报告。
本发明通过基于少样本学习的方法，极大减少了日志信息错误类别标注的人力和时间成本，使得算法模型能够更快迭代至收敛，从而缩短建模周期，实现降本增效。同时，在日志信息识别过程中，首先需要对待识别的日志信息进行判断，如果属于第一子集的范畴，则可以直接识别，如果不属于，则需要重新添加至第一子集，并生成新的特征模型，相当于特征模型的学习过程，以循环迭代的方式，不过对模型进行优化，提高模型的识别准确性和识别效率，避免人工识别日志信息的错误分类，耗费大量人力，提高日志错误识别追踪的效率。此外，通过对日志错误信息进行分类，从而对每个分类进行自动化匹配维护方案，实现自动化巡检及维护，提高应用系统的运作效率。
进一步的，所述基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型，包括：
将所述第一子集和所述第二子集映射至高维超平面，分别提取所述第一子集和第二子集的特征表达；
根据核函数计算任意两个特征表达之间的内积，并根据所述目标函数约束同类特征和异类特征的内积，并迭代训练，直至所述第一日志识别模型收敛，生成第二日志识别模型。
进一步的，所述若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，包括：
根据所述第二日志识别模型提取所述第一日志信息的特征表达；
根据所述特征表达和核函数，对所述第一日志信息和所述第一子集中的日志信息进行内积计算；
根据内积计算结果，根据从小到大的顺序筛选出若干个错误类别，并根据统计量法和投票机制确定所述第一日志信息的错误类别。
进一步的，所述根据统计量法和投票机制确定所述第一日志信息的错误类别，包括：
计算所述特征表达和所述若干个错误类别的卡方分布，并根据所述卡方分布确定各个错误类别的权重；
根据所述权重分别对各个错误类别进行加权，同时根据投票机制对各个确定所述第一日志信息最终的错误类别。
进一步的，所述根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，具体为：
根据所述错误类别和所述第一日志信息定位所述第一日志信息的错误点，所述错误点包括错误时刻和调用链标识；
根据所述错误时刻和调用链标识查询所述第一日志信息的上下文信息，并根据匹配的运维方案进行维护及预警。
进一步的，所述根据维护结果和全链路日志信息生成运维报告，包括：
调取根据运维方案进行系统维护的第三日志信息，根据所述第三日志信息确定是否维护成功；
若维护成功，则将第一日志信息、错误类别、维护方案和运维结果生成可视化运维报告；
若维护失败，则将第一日志信息、第三日志信息、错误类别、维护方案和运维结果生成可视化运维报告，并对所述第一日志信息中的错误类别进行预警。
进一步的，在所述基于深度卷积模型建立第一日志识别模型之后，还包括对所述第一日志识别模型进行优化，具体为：
获取第五日志信息，并将所述第五日志信息更新所述第二子集；
根据所述第一子集、更新后的第二子集和目标函数优化所述第一日志识别模型。
第二方面，本发明提供了一种日志错误数据追踪系统，包括：预处理模块、模型构建模块、识别模块和运维模块；
所述预处理模块，用于创建历史日志信息库，根据预设格式对所述历史日志信息库中的日志文件进行格式化处理；并根据所述历史日志信息库构建第一子集和第二子集；所述预设格式包括日志链路编码、日志文件名、日志内容、日志预警项和日志运维编码；
所述模型构建模块，用于基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型；所述目标函数为多融合损失函数；
所述识别模块，用于采集第一日志信息，对所述第一日志信息进行预处理；并根据日志预警项将所述第一日志信息与所述第一子集中的日志信息进行匹配，若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，获取所述第一日志信息的错误类别；若匹配失败，则对所述第一日志信息进行重定义，生成第二日志信息，根据所述第一日志识别模型提取所述第二日志信息的特征表达，并根据所述第二日志信息的特征表达更新第一子集；
所述运维模块，用于根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，并根据所述日志运维编码匹配运维方案，根据匹配所得的运维方案对系统进行维护，并根据维护结果和全链路日志信息生成运维报告。
第三方面，本发明提供了一种终端设备，包括：
一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的日志错误数据追踪方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的日志错误数据追踪方法。
附图说明
图1为本发明实施例提供的日志错误数据追踪方法的一种流程示意图；
图2为本发明实施例提供的日志错误数据追踪系统的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，请参照图1，图1为本发明实施例提供的日志错误数据追踪方法的一种流程示意图，包括步骤101至步骤104，具体如下：
步骤101：创建历史日志信息库，根据预设格式对所述历史日志信息库中的日志文件进行格式化处理；并根据所述历史日志信息库构建第一子集和第二子集；所述预设格式包括日志链路编码、日志文件名、日志内容、日志预警项和日志运维编码；
在本实施例中，在系统中采集历史日志信息，所述历史日志信息至少包括上万条日志信息，并根据所述历史日志信息筛选出若干样本，进行建模学习。
在本实施例中，为了保证样本多样性，所述历史日志信息中应包含常见日志错误信息，并根据每一类常见日志错误信息，分别抽取少量样本构建第一子集和第二子集。其中所述常见日志错误信息包括系统进程异常终止、代码错误、内存错误、文件系统错误、网络错误和设备错误等。
在本实施例中，采集到所述历史日志信息后还包括根据预设格式对日志文件进行格式化处理，所述日志链路编码为调用链标识，根据所述日志链路编码可快速定位所述日志的父服务、子服务及调用关系；所述日志预警项包括日志的错误分类，所述日志运维编码用于匹配错误日志的维护方案。
步骤102：基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型；所述目标函数为多融合损失函数；
在本实施例中，所述基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型，包括：
将所述第一子集和所述第二子集映射至高维超平面，分别提取所述第一子集和第二子集的特征表达；
根据核函数计算任意两个特征表达之间的内积，并根据所述目标函数约束同类特征和异类特征的内积，并迭代训练，直至所述第一日志识别模型收敛，生成第二日志识别模型。
在本实施例中，将所述第一子集和第二自己映射至高维超平面，并分别提取所述第一子集中每一个日志文件的日志错误信息的特征表达和第二子集中每一个日志文件的日志错误信息的特征表达，生成特征向量序列，依据特征向量序列,对第一子集和第二子集中的各个日志文件进行权重赋值、规范化，生成机器学习的特征向量。
在本实施例中，迭代根据核函数计算任意两个特征表达之间的内积，从而根据目标函数约束同类特征和异类特征的内积，直至所述第一日志模型收敛，生成第二日志模型。所述核函数为经基核函数。
在本实施例中，根据以度量损失和交叉熵损失构建目标函数。
步骤103：采集第一日志信息，对所述第一日志信息进行预处理；并根据日志预警项将所述第一日志信息与所述第一子集中的日志信息进行匹配，若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，获取所述第一日志信息的错误类别；若匹配失败，则对所述第一日志信息进行重定义，生成第二日志信息，根据所述第一日志识别模型提取所述第二日志信息的特征表达，并根据所述第二日志信息的特征表达更新第一子集；
在本实施例中，在获取第一日志信息后，根据预设格式对所述第一日志信息进行预处理，获取所述第一日志信息的日志链路编码、日志文件名、日志内容和日志预警项。
在本实施例中，将所述第一日志信息与所述第一子集中的日志文件进行匹配，若匹配成功，则将所述第一日志信息的日志链路编码、日志文件名、日志内容和日志预警项输入所述第二日志识别模型进行识别。
在本实施例中，所述若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，包括：
根据所述第二日志识别模型提取所述第一日志信息的特征表达；
根据所述特征表达和核函数，对所述第一日志信息和所述第一子集中的日志信息进行内积计算；
根据内积计算结果，根据从小到大的顺序筛选出若干个错误类别，并根据统计量法和投票机制确定所述第一日志信息的错误类别。
在本实施例中，所述根据统计量法和投票机制确定所述第一日志信息的错误类别，包括：
计算所述特征表达和所述若干个错误类别的卡方分布，并根据所述卡方分布确定各个错误类别的权重；
根据所述权重分别对各个错误类别进行加权，同时根据投票机制对各个确定所述第一日志信息最终的错误类别。
在本实施例中，根据所述内积计算结果从小到大筛选出若干个错误类别，并分别计算所述特征表达和各个错误类别的卡方值，并根据所述卡方值计算所述特征表达的均值和方差，对所述各个错误类别进行加权。
在本实施例中，基于投票机制和所述卡方值确定所述第一日志信息的错误类别，生成错误预警项。
步骤104：根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，并根据所述日志运维编码匹配运维方案，根据匹配所得的运维方案对系统进行维护，并根据维护结果和全链路日志信息生成运维报告。
在本实施例中，所述根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，具体为：
根据所述错误类别和所述第一日志信息定位所述第一日志信息的错误点，所述错误点包括错误时刻和调用链标识；
根据所述错误时刻和调用链标识查询所述第一日志信息的上下文信息，并根据匹配的运维方案进行维护及预警。
在本实施例中，对所述日志信息进行埋点，对于每一个日志文件信息生成日志链路编码，获取日志信息的父服务及调用信息。
在本实施例中，根据所述第一日志信息的错误错误类别和所述第一日志信息的日志链路编码定位所述第一日志信息的错误点，所述错误点包括错误时可和调用链标识。其中，所述错误时刻为发生错误的时刻，所述调用链标识为错误日志信息的调用信息标识，可根据所述调用链标识对所述日志信息的父服务进行跟踪。
在本实施例中，所述根据维护结果和全链路日志信息生成运维报告，包括：
调取根据运维方案进行系统维护的第三日志信息，根据所述第三日志信息确定是否维护成功；
若维护成功，则将第一日志信息、错误类别、维护方案和运维结果生成可视化运维报告；
若维护失败，则将第一日志信息、第三日志信息、错误类别、维护方案和运维结果生成可视化运维报告，并对所述第一日志信息中的错误类别进行预警。
在本实施例中，创建历史日志信息库时还需建立运维信息库，所述运维信息库与所述历史日志信息库中的错误类别对应，根据每一个错误类别生成对应的运维方案，所述运维方案包括日志运维编码，根据所述运维编码将所述历史日志信息库和所述运维信息库关联。
在本实施例中，识别出第一日志信息的错误类别后，根据所述错误类别确定日志运维编码，并根据所述日志运维编码获取运维方案对所述第一日志信息中的错误进行维护。
在本实施例中，调取根据运维方案对所述错误进行系统维护的新的日志信息，即第三日志信息，并根据所述第三日志信息进行识别，确定所述运维方案是否维护成功。若维护成功，则将第一日志信息、错误类别、维护方案和运维结果生成可视化运维报告，并将所述可视化运维报告推送给运维人员；若维护失败则将第一日志信息、第三日志信息、错误类别、维护方案和运维结果生成可视化运维报告，并对所述第一日志信息中的错误类别进行分级预警。
在本实施例中，所述分级预警包括根据所述错误类别的重要性进行不同程度的预警，如前端推送、系统警告及短信、电话预警。
在本实施例中，在所述基于深度卷积模型建立第一日志识别模型之后，还包括对所述第一日志识别模型进行优化，具体为：
获取第五日志信息，并将所述第五日志信息更新所述第二子集；
根据所述第一子集、更新后的第二子集和目标函数优化所述第一日志识别模型。
在本实施例中，所述第五日志信息为与所述第一子集中的日志信息匹配失败的日志信息。在建立第一日志识别模型之后，不断更新所述第二子集，并将根据所述第一子集、更新后的第二子集和目标函数优化所述第一日志识别模型。
在本实施例中，通过基于少样本学习的方法，极大减少了日志信息错误类别标注的人力和时间成本，使得算法模型能够更快迭代至收敛，从而缩短建模周期，实现降本增效。同时，在日志信息识别过程中，首先需要对待识别的日志信息进行判断，如果属于第一子集的范畴，则可以直接识别，如果不属于，则需要重新添加至第一子集，并生成新的特征模型，相当于特征模型的学习过程，以循环迭代的方式，不过对模型进行优化，提高模型的识别准确性和识别效率，避免人工识别日志信息的错误分类，耗费大量人力，提高日志错误识别追踪的效率。此外，通过对日志错误信息进行分类，从而对每个分类进行自动化匹配维护方案，实现自动化巡检及维护，提高应用系统的运作效率。
请参照图2，图2为本发明实施例提供的日志错误数据追踪系统的一种结构示意图，包括预处理模块201、模型构建模块202、识别模块203和运维模块204；
所述预处理模块201，用于创建历史日志信息库，根据预设格式对所述历史日志信息库中的日志文件进行格式化处理；并根据所述历史日志信息库构建第一子集和第二子集；所述预设格式包括日志链路编码、日志文件名、日志内容、日志预警项和日志运维编码；
所述模型构建模块202，用于基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型；所述目标函数为多融合损失函数；
所述识别模块203，用于采集第一日志信息，对所述第一日志信息进行预处理；并根据日志预警项将所述第一日志信息与所述第一子集中的日志信息进行匹配，若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，获取所述第一日志信息的错误类别；若匹配失败，则对所述第一日志信息进行重定义，生成第二日志信息，根据所述第一日志识别模型提取所述第二日志信息的特征表达，并根据所述第二日志信息的特征表达更新第一子集；
所述运维模块204，用于根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，并根据所述日志运维编码匹配运维方案，根据匹配所得的运维方案对系统进行维护，并根据维护结果和全链路日志信息生成运维报告。
本发明还提供了一种终端设备，包括：
一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器所述的日志错误数据追踪方法。
本发明还以提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的日志错误数据追踪方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种日志错误数据追踪方法，其特征在于，包括：
创建历史日志信息库，根据预设格式对所述历史日志信息库中的日志文件进行格式化处理；并根据所述历史日志信息库构建第一子集和第二子集；所述预设格式包括日志链路编码、日志文件名、日志内容、日志预警项和日志运维编码；
基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型；所述目标函数为多融合损失函数；
采集第一日志信息，对所述第一日志信息进行预处理；并根据日志预警项将所述第一日志信息与所述第一子集中的日志信息进行匹配，若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，获取所述第一日志信息的错误类别；若匹配失败，则对所述第一日志信息进行重定义，生成第二日志信息，根据所述第一日志识别模型提取所述第二日志信息的特征表达，并根据所述第二日志信息的特征表达更新第一子集；
根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，并根据所述日志运维编码匹配运维方案，根据匹配所得的运维方案对系统进行维护，并根据维护结果和全链路日志信息生成运维报告；
所述基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型，包括：
将所述第一子集和所述第二子集映射至高维超平面，分别提取所述第一子集和第二子集的特征表达；
根据核函数计算任意两个特征表达之间的内积，并根据所述目标函数约束同类特征和异类特征的内积，并迭代训练，直至所述第一日志识别模型收敛，生成第二日志识别模型；
所述若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，包括：
根据所述第二日志识别模型提取所述第一日志信息的特征表达；
根据所述特征表达和核函数，对所述第一日志信息和所述第一子集中的日志信息进行内积计算；
根据内积计算结果，根据从小到大的顺序筛选出若干个错误类别，并根据统计量法和投票机制确定所述第一日志信息的错误类别；
所述根据维护结果和全链路日志信息生成运维报告，包括：
调取根据运维方案进行系统维护的第三日志信息，根据所述第三日志信息确定是否维护成功；
若维护成功，则将第一日志信息、错误类别、维护方案和运维结果生成可视化运维报告；
若维护失败，则将第一日志信息、第三日志信息、错误类别、维护方案和运维结果生成可视化运维报告，并对所述第一日志信息中的错误类别进行分级预警；
在所述基于深度卷积模型建立第一日志识别模型之后，还包括对所述第一日志识别模型进行优化，具体为：
获取第五日志信息，并将所述第五日志信息更新所述第二子集；
根据所述第一子集、更新后的第二子集和目标函数优化所述第一日志识别模型；
所述第五日志信息为与所述第一子集中的日志信息匹配失败的日志信息。
2.如权利要求1所述的日志错误数据追踪方法，其特征在于，所述根据统计量法和投票机制确定所述第一日志信息的错误类别，包括：
计算所述特征表达和所述若干个错误类别的卡方分布，并根据所述卡方分布确定各个错误类别的权重；
根据所述权重分别对各个错误类别进行加权，同时根据投票机制对各个确定所述第一日志信息最终的错误类别。
3.如权利要求2所述的日志错误数据追踪方法，其特征在于，所述根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，具体为：
根据所述错误类别和所述第一日志信息定位所述第一日志信息的错误点，所述错误点包括错误时刻和调用链标识；
根据所述错误时刻和调用链标识查询所述第一日志信息的上下文信息，并根据匹配的运维方案进行维护及预警。
4.一种日志错误数据追踪系统，其特征在于，包括：预处理模块、模型构建模块、识别模块和运维模块；
所述预处理模块，用于创建历史日志信息库，根据预设格式对所述历史日志信息库中的日志文件进行格式化处理；并根据所述历史日志信息库构建第一子集和第二子集；所述预设格式包括日志链路编码、日志文件名、日志内容、日志预警项和日志运维编码；
所述模型构建模块，用于基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型；所述目标函数为多融合损失函数；
所述识别模块，用于采集第一日志信息，对所述第一日志信息进行预处理；并根据日志预警项将所述第一日志信息与所述第一子集中的日志信息进行匹配，若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，获取所述第一日志信息的错误类别；若匹配失败，则对所述第一日志信息进行重定义，生成第二日志信息，根据所述第一日志识别模型提取所述第二日志信息的特征表达，并根据所述第二日志信息的特征表达更新第一子集；
所述运维模块，用于根据第一日志信息的错误类别，获取日志运维编码和全链路日志信息，并根据所述日志运维编码匹配运维方案，根据匹配所得的运维方案对系统进行维护，并根据维护结果和全链路日志信息生成运维报告；
所述基于深度卷积模型建立第一日志识别模型，并根据所述第一子集、所述第二子集及目标函数训练所述第一日志识别模型，生成第二日志识别模型，包括：
将所述第一子集和所述第二子集映射至高维超平面，分别提取所述第一子集和第二子集的特征表达；
根据核函数计算任意两个特征表达之间的内积，并根据所述目标函数约束同类特征和异类特征的内积，并迭代训练，直至所述第一日志识别模型收敛，生成第二日志识别模型；
所述若匹配成功，则将所述第一日志信息输入所述第二日志识别模型进行识别，包括：
根据所述第二日志识别模型提取所述第一日志信息的特征表达；
根据所述特征表达和核函数，对所述第一日志信息和所述第一子集中的日志信息进行内积计算；
根据内积计算结果，根据从小到大的顺序筛选出若干个错误类别，并根据统计量法和投票机制确定所述第一日志信息的错误类别；
所述根据维护结果和全链路日志信息生成运维报告，包括：
调取根据运维方案进行系统维护的第三日志信息，根据所述第三日志信息确定是否维护成功；
若维护成功，则将第一日志信息、错误类别、维护方案和运维结果生成可视化运维报告；
若维护失败，则将第一日志信息、第三日志信息、错误类别、维护方案和运维结果生成可视化运维报告，并对所述第一日志信息中的错误类别进行分级预警；
在所述基于深度卷积模型建立第一日志识别模型之后，还包括对所述第一日志识别模型进行优化，具体为：
获取第五日志信息，并将所述第五日志信息更新所述第二子集；
根据所述第一子集、更新后的第二子集和目标函数优化所述第一日志识别模型；
所述第五日志信息为与所述第一子集中的日志信息匹配失败的日志信息。
5.一种终端设备，其特征在于，包括：
一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3任一项所述的日志错误数据追踪方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的日志错误数据追踪方法。
CN202311676496.XA 2023-12-08 2023-12-08 一种日志错误数据追踪方法及系统 Active CN117370284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311676496.XA CN117370284B (zh) 2023-12-08 2023-12-08 一种日志错误数据追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311676496.XA CN117370284B (zh) 2023-12-08 2023-12-08 一种日志错误数据追踪方法及系统

Publications (2)

Publication Number Publication Date
CN117370284A CN117370284A (zh) 2024-01-09
CN117370284B true CN117370284B (zh) 2024-03-15

Family

ID=89396961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311676496.XA Active CN117370284B (zh) 2023-12-08 2023-12-08 一种日志错误数据追踪方法及系统

Country Status (1)

Country Link
CN (1) CN117370284B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893225A (zh) * 2015-08-25 2016-08-24 乐视网信息技术（北京）股份有限公司 一种错误自动处理方法及装置
CN110750377A (zh) * 2019-09-06 2020-02-04 深圳平安通信科技有限公司 一种故障定位方法及装置
CN112711496A (zh) * 2020-12-31 2021-04-27 杭州未名信科科技有限公司 日志信息全链路追踪方法、装置、计算机设备和存储介质
CN113190372A (zh) * 2021-05-24 2021-07-30 平安国际智慧城市科技股份有限公司 多源数据的故障处理方法、装置、电子设备及存储介质
CN114265740A (zh) * 2021-11-26 2022-04-01 中国联合网络通信集团有限公司 错误信息处理方法、装置、设备及存储介质
CN114281939A (zh) * 2021-11-26 2022-04-05 中国联合网络通信集团有限公司 文本分类模型的训练方法、文本分类方法、装置和设备
CN115834195A (zh) * 2022-11-22 2023-03-21 平安银行股份有限公司 一种日志异常检测方法、装置、系统及介质
CN116975081A (zh) * 2023-08-10 2023-10-31 上海燧原科技有限公司 一种日志诊断集更新方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12026046B2 (en) * 2022-03-07 2024-07-02 Adobe Inc. Error log anomaly detection
US20230325294A1 (en) * 2022-04-07 2023-10-12 Oracle International Corporation Models for detecting and managing excessive log patterns

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893225A (zh) * 2015-08-25 2016-08-24 乐视网信息技术（北京）股份有限公司 一种错误自动处理方法及装置
CN110750377A (zh) * 2019-09-06 2020-02-04 深圳平安通信科技有限公司 一种故障定位方法及装置
CN112711496A (zh) * 2020-12-31 2021-04-27 杭州未名信科科技有限公司 日志信息全链路追踪方法、装置、计算机设备和存储介质
CN113190372A (zh) * 2021-05-24 2021-07-30 平安国际智慧城市科技股份有限公司 多源数据的故障处理方法、装置、电子设备及存储介质
CN114265740A (zh) * 2021-11-26 2022-04-01 中国联合网络通信集团有限公司 错误信息处理方法、装置、设备及存储介质
CN114281939A (zh) * 2021-11-26 2022-04-05 中国联合网络通信集团有限公司 文本分类模型的训练方法、文本分类方法、装置和设备
CN115834195A (zh) * 2022-11-22 2023-03-21 平安银行股份有限公司 一种日志异常检测方法、装置、系统及介质
CN116975081A (zh) * 2023-08-10 2023-10-31 上海燧原科技有限公司 一种日志诊断集更新方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117370284A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN113935497B (zh) 智能运维故障处理方法、装置、设备及其存储介质
CN110351301B (zh) 一种http请求双层递进式异常检测方法
CN107391369B (zh) 一种基于数据筛选和数据过采样的跨项目缺陷预测方法
CN111597122B (zh) 一种基于历史缺陷数据挖掘的软件故障注入方法
CN112348653B (zh) 一种财务云平台的自动测试运维系统
CN113778894B (zh) 测试用例的构建方法、装置、设备及存储介质
CN111104242A (zh) 基于深度学习的操作系统的异常日志的处理方法及装置
CN101546290A (zh) 提高面向对象型软件中类阶层质量预测准确度的方法
CN111881164B (zh) 基于边缘计算和路径分析的数据处理方法及大数据云平台
CN114816497A (zh) 基于bert预训练模型的链接生成方法
CN114416423B (zh) 一种基于机器学习的根因定位方法和系统
CN115170027A (zh) 数据分析方法、装置、设备及存储介质
CN114880312A (zh) 一种可柔性设置的应用系统业务数据稽核方法
CN117422428B (zh) 一种基于人工智能的机器人自动审批方法及系统
CN117370284B (zh) 一种日志错误数据追踪方法及系统
CN111831817B (zh) 问卷生成分析方法、装置、计算机设备及可读存储介质
CN116452212A (zh) 一种智能客服商品知识库信息管理方法及系统
CN114722960A (zh) 一种业务过程事件日志不完整轨迹检测方法与系统
CN113554524A (zh) 基于工业互联网的生产智能监控方法、系统及存储介质
CN116993307B (zh) 一种具有人工智能学习能力的协同办公方法及系统
CN113221984A (zh) 用户酒驾行为分析预测方法、装置、设备及存储介质
CN112418449A (zh) 一种供电线路故障定位模型的生成方法、定位方法、装置
CN116049700B (zh) 基于多模态的运检班组画像生成方法及装置
CN117272170B (zh) 一种基于知识图谱的it运维故障根因分析方法
CN117216490B (zh) 一种智能大数据采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant