CN112000502B - 海量错误日志的处理方法、装置、电子装置及存储介质 - Google Patents

海量错误日志的处理方法、装置、电子装置及存储介质 Download PDF

Info

Publication number
CN112000502B
CN112000502B CN202010800467.XA CN202010800467A CN112000502B CN 112000502 B CN112000502 B CN 112000502B CN 202010800467 A CN202010800467 A CN 202010800467A CN 112000502 B CN112000502 B CN 112000502B
Authority
CN
China
Prior art keywords
error
log data
preset
log
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010800467.XA
Other languages
English (en)
Other versions
CN112000502A (zh
Inventor
张建青
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202010800467.XA priority Critical patent/CN112000502B/zh
Publication of CN112000502A publication Critical patent/CN112000502A/zh
Application granted granted Critical
Publication of CN112000502B publication Critical patent/CN112000502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0781—Error filtering or prioritizing based on a policy defined by the user or on a policy defined by a hardware/software module, e.g. according to a severity level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种海量错误日志的处理方法、装置、电子装置和存储介质。其中，海量错误日志的处理方法包括：获取多个错误日志数据；对多个错误日志数据进行过滤处理，得到多个候选错误日志；利用机器分类模型对多个候选错误日志数据进行分类，得到多种类型的错误日志，并将多种类型的错误日志存储至预设数据库。通过本申请，解决了相关技术中多服务部署的应用系统的海量错误日志数据排错效率低的问题，实现了准确、快速定位到报错服务和报错原因，提高排错效率，减小排错成本的有益效果。

Description

海量错误日志的处理方法、装置、电子装置及存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及海量错误日志的处理方法、装置、电子装置及存储介质。
背景技术
近几年来，随着计算机和信息技术的迅猛发展和普及应用，采用微服务架构的应用系统越来越受到欢迎。采用微服务架构的应用系统可拆分出多个可独立构建部署的服务。而服务在运行过程中可能会出现错误并生成错误日志，生成的错误日志供维护人员查看，维护人员可以通过查看服务是否生成错误日志的方法来判断该服务是否报错。现有相关技术中，查看错误日志的方式是直接通过SSH登录服务器查看错误日志，但错误日志本身存在消息多而杂、重复错误多的问题，当错误日志达到TB级及以上数据量时，现有查看错误日志的方法无法满足查看需求，并无法对错误日志的根源点进行精准定位，造成维护人员排错效率低，增加运维成本。
目前针对相关技术中多服务部署的应用系统的海量错误日志数据排错效率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种海量错误日志的处理方法、装置、电子装置及存储介质，以至少解决相关技术中多服务部署的应用系统的海量错误日志数据排错效率低的问题。
第一方面，本申请实施例提供了一种海量错误日志的处理方法，包括：
获取多个错误日志数据；
对所述多个错误日志数据进行过滤处理，得到多个候选错误日志；
利用机器分类模型对所述多个候选错误日志数据进行分类，得到多种类型的错误日志，并将所述多种类型的错误日志存储至预设数据库，其中，所述机器分类模型是根据预设错误日志数据和与所述预设错误日志数据对应的实检错误日志训练得到的。
在其中一些实施例中，所述错误日志数据包括错误级别和日志内容，对所述多个错误日志数据进行过滤处理包括：
在所述多个错误日志数据中检测错误级别相同的多个第一日志数据；
从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据；
从所述多个第二日志数据中筛选出一个所述第二日志数据，得到一个所述候选错误日志。
在其中一些实施例中，从所述多个第一错误日志数据中选取所述日志内容一致或相似的多个第二错误日志数据包括：
在每一个所述第一错误日志数据的所述日志内容中选取预设数据区间内的日志内容对应的数据字符串；
从所述数据字符串中提取多个第一关键词，得到关键词字符串；
将所述关键词字符串与预设关键词字符串进行对比，并判断所述关键词字符串与所述预设关键词字符串的相似度是否大于预设阈值；
在判断到所述关键词字符串与所述预设关键词字符串的相似度大于预设阈值的情况下，确实所述第一错误日志数据为所述第二错误日志数据。
在其中一些实施例中，所述机器分类模型包括基于自然语言处理的机器学习模型。
在其中一些实施例中，获取多个错误日志数据包括：获取由预设消息队列发布的所述多个错误日志数据，其中，所述预设消息队列发布的所述错误日志数据包括通过日志采集器采集的预设系统产生的错误日志文件。
在其中一些实施例中，所述预设消息队列包括Kafka消息队列。
在其中一些实施例中，将所述多种类型的错误日志存储至预设数据库之后，所述处理方法还包括：查询所述多种类型的错误日志，并通过预设平台展示所述多种类型的错误日志对应的错误根源点。
第二方面，本申请实施例提供的一种海量错误日志的处理装置，包括：
获取模块，用于获取多个错误日志数据；
过滤模块，用于对所述多个错误日志数据进行过滤处理，得到多个候选错误日志；
处理模块，用于利用机器分类模型对所述多个候选错误日志数据进行分类，得到多种类型的错误日志，并将所述多种类型的错误日志存储至预设数据库，其中，所述机器分类模型是根据预设错误日志数据和与所述预设错误日志数据对应的实检错误日志训练得到的。
第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的海量错误日志的处理方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面所述的海量错误日志的处理方法。
相比于相关技术，本申请实施例提供的一种海量错误日志的处理方法、装置、电子装置及存储介质，通过获取多个错误日志数据；对多个错误日志数据进行过滤处理，得到多个候选错误日志；利用机器分类模型对多个候选错误日志数据进行分类，得到多种类型的错误日志，并将多种类型的错误日志存储至预设数据库，解决了相关技术中多服务部署的应用系统的海量错误日志数据排错效率低的问题，实现了准确、快速定位到报错服务和报错原因，提高排错效率，减小排错成本的有益效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例的海量错误日志的处理方法的终端的硬件结构框图；
图2是根据本申请实施例的海量错误日志的处理方法的流程图；
图3是根据本申请优选实施例的海量错误日志的处理方法的流程图；
图4是根据本申请实施例的海量错误日志的处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请中描述的各种技术可用于大数据技术领域的海量错误日志文件的排错查询。
在对本申请的实施例进行描述和说明之前，先对本申请中使用的相关技术进行说明如下：
TB:计算机的存储单位，1TB＝1024GB＝1,048,576MB，TB级，也就是处理的数据量达到TB以上。
日志采集器,用于转发和汇总日志与文件,获取所有日志流信息。本申请中使用的是Filebeat日志采集器，它是一种轻量型日志采集器。
TensorFlow：是一个端到端开源机器学习平台，帮助开发者轻松地构建和部署由机器学习提供支持的应用，可以帮助开发和训练机器学习模型；TensorFlow拥有一个包含各种工具、库和社区资源的全面灵活生态系统，可以让研究人员推动机器学习领域的先进技术的发展，并让开发者轻松地构建和部署由机器学习提供支持的应用，可以帮助开发和训练机器学习模型。
Kafka：由Apache软件基金会开发的一个开源流处理平台，是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。
Pg：PostgreSQL的简写，是开源的对象与关系数据库的数据库管理系统。
机器学习：用数据或以往的经验,以此优化计算机程序的性能标准
监测平台：监测当前系统服务器实时状况，是否存在宕机的服务，宕机的原因是什么的监测平台；监测平台主要是用来实时监测当前应用系统所部署的服务器，目前哪些服务存在报错导致宕机，展示当前报错的服务器是哪台，报错的原因是什么，可以清晰直观的从平台能查看到这些监测信息。
日志过滤器：是由python脚本编程语言进行的一段代码，主要实现的功能就是进行错误日志内容重复性过滤，进行内容的分类，把有服务程序产生的错误刷选过滤出来。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的基于海量错误日志的处理方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的海量错误日志的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种海量错误日志的处理方法，图2是根据本申请实施例的海量错误日志的处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取多个错误日志数据。
在本实施例中，获取的多个错误日志数据是由部署在日志系统的不同服务器上的应用程序产生的，并且产生的错误日志数据是存储在对应的服务器上的，不同服务器按天收集服务系统所产生的系统Info日志、Error日志等，本申请实施例的处理方法处理日志对象则为Error日志所记录的错误信息。
同时，本实施例获取的多个错误日志数据是通过日志采集器实时监听不同服务器指定目录下的错误日志文件而获取的。具体地：指定当前服务器存储错误日志文件的系统路径是：/home/data/error_*.log(在其他实施方式中，也可以使用通配符进行多层子目录路径)，该系统路径会作为input的输入源路径进行搜索，同时，指定日志编码格式为ASCII模式，并通过指定多个正则表达式来去除某些不需要上报的行，再通过读取配置实时查看日志(tail-f)的方式来获取最新实时日志数据。
再者，在本实施例中，日志采集器采集到日志文件后，会将日志文件及对应的错误日志数据发送给消息队列，通过消息队列实时发布错误日志数据，采用消息队列发布错误日志数据，能确保实时监听到的日志都能及时得到处理；采用消息队列，能支撑海量数据(TB级)的传输，并能避免海量错误日志数据在传输过程中造成堵塞和错误日志无法快速处理的情况出现。
步骤S202，对多个错误日志数据进行过滤处理，得到多个候选错误日志。
在本实施例中，通过对错误日志数据进行过滤处理，过滤掉重复出错的错误日志数据，从降低进行分析的错误日志数据的数据量，籍以快速的追溯错误根源点和定位报错原因，也就是找出错误日志数据对应的宕机的服务器、宕机时间、宕机原因以及其他异常或错误对应的服务器、产生的时间、原因等。
需要说明的是，在本申请实施例中，对错误日志数据的过滤处理采用的是基于错误日志内容的相似度进行的去重处理。
步骤S203,利用机器分类模型对多个候选错误日志数据进行分类，得到多种类型的错误日志，并将多种类型的错误日志存储至预设数据库，其中，机器分类模型是根据预设错误日志数据和与预设错误日志数据对应的实检错误日志训练得到的。
在本实施例中，利用机器分类模型对候选错误日志数据进行分类的目的在于将进行过滤处理后的错误日志数据进行归类，通过归类后得到我们需要的期望的内容，而错误日志数据的归类是基于错误类型和错误原因的关键字而将错误日志数据分类的，其中，常见的错误类型和错误原因的关键字包括：数据库连接超时、内存溢出以及RuntimeException异常(运行期异常、执行异常)所包含的子类异常，例如：空指针异常。训练好的机器分类模型对过滤处理后的日志数据进行分类、归类，从而将多个错误日志数据错误类型和/或错误原因分类。
在本实施例中，将过滤后的候选错误日志数据直接加载TensorFlow机器学习模型中进行分类训练，通过机器分类模型的训练获取对应的多种类型的错误日志数据，训练获取的多种类型的错误日志数据会保存到Pg数据库。
通过上述步骤S201至步骤S203，采用获取多个错误日志数据；对多个错误日志数据进行过滤处理，得到多个候选错误日志；利用机器分类模型对多个候选错误日志数据进行分类，得到多种类型的错误日志，并将多种类型的错误日志存储至预设数据库，解决了相关技术中多服务部署的应用系统的海量错误日志数据排错效率低的问题，实现了在多服务部署的应用系统中快速、准确的定位到报错服务和报错原因，减小排错成本的有益效果。
在其中一些实施例中，错误日志数据包括错误级别和日志内容，对多个错误日志数据进行过滤处理包括如下步骤：
在多个错误日志数据中检测错误级别相同的多个第一日志数据。
在本实施例中，第一日志数据对应错误级别相同的错误日志数据，并且在拿到错误日志数据之后，首先选取的错误级别相同且为Error级别的错误日志数据，该错误级别的错误日志数据定义为第一日志数据。
从多个第一日志数据中选取日志内容一致或相似的多个第二日志数据。
在实际获取错误日志数据的过程中，当获取到一个错误日志数据后，一段时间内会存在重复报错的错误日志数据直到服务系统恢复工作，而重复的错误日志数据报错的内容是一致或者相似的报错，并且重复的错误日志数据会增大错误日志的筛选负荷，因此，通过将重复报错的错误日志数据进行去重删除，从而获得同一报错的错误日志数据的较少数据量的错误日志数据。
从多个第二日志数据中筛选出一个第二日志数据，得到一个候选错误日志。
通过上述在多个错误日志数据中检测错误级别相同的多个第一日志数据；从多个第一日志数据中选取日志内容一致或相似的多个第二日志数据；从多个第二日志数据中筛选出一个第二日志数据，得到一个候选错误日志，基于相似度对错误日志数据进行去重，实现了对多个错误日志数据过滤处理得到候选错误日志。
在其中一些实施例中，从多个第一错误日志数据中选取日志内容一致或相似的多个第二错误日志数据包括如下步骤：
在每一个第一错误日志数据的日志内容中选取预设数据区间内的日志内容对应的数据字符串。
在本实施例中，在第一错误日志数据中筛选第二错误日志数据是基于错误日志数据的日志内容完成的，并且，在本实施例中，预设数据区间为错误日志开始生成的起始位(logger.erroe开头的内容)与产生错误日志数据的错误原因的起始位之间的区间，预设数据区间对应有多个数据段，同时，选取的数据为该预设数据区间的日志内容。该预设数据区间内的数据对应组成数据字符串。
从数据字符串中提取多个第一关键词，得到关键词字符串。
在本实施例中，进行日志内容对比时，是通过日志内容中的关键词与预设关键词进行对比的。数据字符串中的第一关键词对应为预设数据区间的不同数据段的日志内容的关键词。
将关键词字符串与预设关键词字符串进行对比，并判断关键词字符串与预设关键词字符串的相似度是否大于预设阈值。
在本实施例中，判断关键词字符串与预设关键词字符串的相似度是将关键词字符串中的第一关键词与预设关键词字符串的关键词进行匹配，当有超过预设阈值的数据段内的日志内容的关键词与对应的预设的关键词能匹配上，则表示关键词字符串与预设关键词字符串的相似度大于预设阈值。
在判断到关键词字符串与预设关键词字符串的相似度大于预设阈值的情况下，确实第一错误日志数据为第二错误日志数据。
在本实施例中，关键词字符串与预设关键词字符串的相似度大于预设阈值，则表明该第一错误日志数据为重复报错的错误日志数据，也就是第二错误日志数据。
在其中一些实施例中，机器分类模型包括基于自然语言处理的机器学习模型。
在其中一些实施例中，获取多个错误日志数据包括如下步骤：获取由预设消息队列发布的所述多个错误日志数据，其中，预设消息队列发布的错误日志数据包括通过日志采集器采集的预设系统产生的错误日志文件。
在本实施例中，在日志采集器采集到日志文件后，会将日志文件及对应的错误日志数据发送给消息队列，通过消息队列实时发布错误日志数据。
在本实施例中，预设消息队列包括Kafka消息队列。
在其中一些实施例中，将多种类型的错误日志存储至预设数据库之后，还包括如下步骤：查询多种类型的错误日志，并通过预设平台展示多种类型的错误日志对应的错误根源点。
在本实施例中，通过预设的监测平台把存入Pg数据库的多种类型的错误日志数据查询出来，并通过该监测平台可以实时展示当前应用系统所部署的服务器哪些服务存在报错导致宕机、宕机报错的原因是什么。当然，监测平台还可以展示其他错误日志内容。
图3是根据本申请优选实施例的海量错误日志的处理方法的流程图，如图3所示，该流程包括如下步骤：
日志采集器Filebeat实时监听各服务器错误日志数据，并将监听到的错误日志数据发送给消息队列Kafka。
消息队列Kafka实时发布接收到的错误日志数据至日志过滤器。
日志过滤器进行过滤相似度达到90％的错误日志数据，并将过滤后的错误日志数据发送给TensorFlow模型进行错误日志数据训练，得到多种类型的错误日志数据。
TensorFlow模型将多种类型的错误日志数据发送给日志Pg数据库进行存储。
监测平台进行错误日志数据显示。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种海量错误日志的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的海量错误日志的处理装置的结构框图，如图4所示，该装置包括：
获取模块41，用于获取多个错误日志数据。
过滤模块42，与过滤模块41耦合连接，用于对多个错误日志数据进行过滤处理，得到多个候选错误日志。
处理模块43，与过滤模块42耦合连接，用于利用机器分类模型对多个候选错误日志数据进行分类，得到多种类型的错误日志，并将多种类型的错误日志存储至预设数据库，其中，机器分类模型是根据预设错误日志数据和与所述预设错误日志数据对应的实检错误日志训练得到的。
在其中一些实施例中，错误日志数据包括错误级别和日志内容，过滤模块42用于在多个错误日志数据中检测错误级别相同的多个第一日志数据；从多个第一日志数据中选取日志内容一致或相似的多个第二日志数据；从多个第二日志数据中筛选出一个第二日志数据，得到一个候选错误日志。
在其中一些实施例中，过滤模块42用于在每一个第一错误日志数据的日志内容中选取预设数据区间内的日志内容对应的数据字符串；从数据字符串中提取多个第一关键词，得到关键词字符串；将关键词字符串与预设关键词字符串进行对比，并判断关键词字符串与预设关键词字符串的相似度是否大于预设阈值；在判断到关键词字符串与预设关键词字符串的相似度大于预设阈值的情况下，确实第一错误日志数据为第二错误日志数据。
在其中一些实施例中，处理模块43用于利用基于自然语言处理的机器学习模型对多个候选错误日志数据进行分类，得到多种类型的错误日志，并将多种类型的错误日志存储至预设数据库。
在其中一些实施例中，获取模块41用于获取由预设消息队列发布的多个错误日志数据，其中，预设消息队列发布的错误日志数据包括通过日志采集器采集的预设系统产生的错误日志文件。
在其中一些实施例中，装置用于在多种类型的错误日志存储至预设数据库之后，查询多种类型的错误日志，并通过预设平台展示多种类型的错误日志对应的错误根源点。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取多个错误日志数据。
S2，对多个错误日志数据进行过滤处理，得到多个候选错误日志。
S3，利用机器分类模型对多个候选错误日志数据进行分类，得到多种类型的错误日志，并将多种类型的错误日志存储至预设数据库，其中，机器分类模型是根据预设错误日志数据和与预设错误日志数据对应的实检错误日志训练得到的。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的海量错误日志的处理方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种海量错误日志的处理方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种海量错误日志的处理方法，其特征在于，包括：
获取多个错误日志数据；
对所述多个错误日志数据进行过滤处理，得到多个候选错误日志；
利用机器分类模型对所述多个候选错误日志数据进行分类，得到多种类型的错误日志，并将所述多种类型的错误日志存储至预设数据库，其中，所述机器分类模型是根据预设错误日志数据和与所述预设错误日志数据对应的实检错误日志训练得到的；
其中，所述错误日志数据包括错误级别和日志内容，对所述多个错误日志数据进行过滤处理包括：
在所述多个错误日志数据中检测错误级别相同的多个第一日志数据；
从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据；
从所述多个第二日志数据中筛选出一个所述第二日志数据，得到一个所述候选错误日志；
其中，从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据包括：
在每一个所述第一日志数据的所述日志内容中选取预设数据区间内的日志内容对应的数据字符串；
从所述数据字符串中提取多个第一关键词，得到关键词字符串；
将所述关键词字符串与预设关键词字符串进行对比，并判断所述关键词字符串与所述预设关键词字符串的相似度是否大于预设阈值；
在判断到所述关键词字符串与所述预设关键词字符串的相似度大于预设阈值的情况下，确实所述第一日志数据为所述第二日志数据。
2.根据权利要求1所述的海量错误日志的处理方法，其特征在于，所述机器分类模型包括基于自然语言处理的机器学习模型。
3.根据权利要求1所述的海量错误日志的处理方法，其特征在于，获取多个错误日志数据包括：获取由预设消息队列发布的所述多个错误日志数据，其中，所述预设消息队列发布的所述错误日志数据包括通过日志采集器采集的预设系统产生的错误日志文件。
4.根据权利要求3所述的海量错误日志的处理方法，其特征在于，所述预设消息队列包括Kafka消息队列。
5.根据权利要求1所述的海量错误日志的处理方法，其特征在于，将所述多种类型的错误日志存储至预设数据库之后，所述处理方法还包括：查询所述多种类型的错误日志，并通过预设平台展示所述多种类型的错误日志对应的错误根源点。
6.一种海量错误日志的处理装置，其特征在于，包括：
获取模块，用于获取多个错误日志数据；
过滤模块，用于对所述多个错误日志数据进行过滤处理，得到多个候选错误日志；
处理模块，用于利用机器分类模型对所述多个候选错误日志数据进行分类，得到多种类型的错误日志，并将所述多种类型的错误日志存储至预设数据库，其中，所述机器分类模型是根据预设错误日志数据和与所述预设错误日志数据对应的实检错误日志训练得到的；
其中，所述错误日志数据包括错误级别和日志内容，对所述多个错误日志数据进行过滤处理包括：
在所述多个错误日志数据中检测错误级别相同的多个第一日志数据；
从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据；
从所述多个第二日志数据中筛选出一个所述第二日志数据，得到一个所述候选错误日志；
其中，从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据包括：
在每一个所述第一日志数据的所述日志内容中选取预设数据区间内的日志内容对应的数据字符串；
从所述数据字符串中提取多个第一关键词，得到关键词字符串；
将所述关键词字符串与预设关键词字符串进行对比，并判断所述关键词字符串与所述预设关键词字符串的相似度是否大于预设阈值；
在判断到所述关键词字符串与所述预设关键词字符串的相似度大于预设阈值的情况下，确实所述第一日志数据为所述第二日志数据。
7.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的海量错误日志的处理方法。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的海量错误日志的处理方法。
CN202010800467.XA 2020-08-11 2020-08-11 海量错误日志的处理方法、装置、电子装置及存储介质 Active CN112000502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010800467.XA CN112000502B (zh) 2020-08-11 2020-08-11 海量错误日志的处理方法、装置、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010800467.XA CN112000502B (zh) 2020-08-11 2020-08-11 海量错误日志的处理方法、装置、电子装置及存储介质

Publications (2)

Publication Number Publication Date
CN112000502A CN112000502A (zh) 2020-11-27
CN112000502B true CN112000502B (zh) 2023-04-07

Family

ID=73463027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010800467.XA Active CN112000502B (zh) 2020-08-11 2020-08-11 海量错误日志的处理方法、装置、电子装置及存储介质

Country Status (1)

Country Link
CN (1) CN112000502B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800016A (zh) * 2020-12-31 2021-05-14 武汉思普崚技术有限公司 一种日志数据分类排序方法及装置
CN113010383B (zh) * 2021-03-16 2023-08-01 北京百度网讯科技有限公司 错误日志过滤方法、装置、电子设备以及可读介质
CN113778800B (zh) * 2021-09-14 2023-08-18 上海绚显科技有限公司 一种报错信息处理方法、装置、系统、设备及存储介质
CN117436496A (zh) * 2023-11-22 2024-01-23 深圳市网安信科技有限公司 基于大数据日志的异常检测模型的训练方法及检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761173A (zh) * 2013-12-28 2014-04-30 华中科技大学 一种基于日志的计算机系统故障诊断方法及装置
CN105893208A (zh) * 2016-03-31 2016-08-24 城云科技（杭州）有限公司 基于隐半马尔可夫模型的云计算平台系统故障预测方法
US10776577B2 (en) * 2017-06-30 2020-09-15 Open Text Corporation Systems and methods for diagnosing problems from error logs using natural language processing
CN108153603B (zh) * 2017-12-08 2019-03-19 上海陆家嘴国际金融资产交易市场股份有限公司 数据库服务器故障处理方法、装置和存储介质
CN108038049B (zh) * 2017-12-13 2021-11-09 西安电子科技大学 实时日志控制系统及控制方法、云计算系统及服务器
US10769057B2 (en) * 2018-05-09 2020-09-08 International Business Machines Corporation Identifying potential errors in code using machine learning
CN109684157A (zh) * 2018-08-28 2019-04-26 平安科技（深圳）有限公司 基于报错日志的告警方法、设备、存储介质及装置
CN110245491B (zh) * 2019-06-11 2021-01-08 国网安徽省电力有限公司 网络攻击类型的确定方法、装置以及存储器和处理器
CN110929028A (zh) * 2019-11-01 2020-03-27 深圳前海微众银行股份有限公司 一种日志分类方法及装置
CN111027615B (zh) * 2019-12-05 2022-06-10 江苏方天电力技术有限公司 基于机器学习的中间件故障预警方法和系统

Also Published As

Publication number Publication date
CN112000502A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112000502B (zh) 海量错误日志的处理方法、装置、电子装置及存储介质
US11442803B2 (en) Detecting and analyzing performance anomalies of client-server based applications
US20160170818A1 (en) Adaptive fault diagnosis
CN108365985A (zh) 一种集群管理方法、装置、终端设备及存储介质
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN105488610A (zh) 一种电力应用系统故障实时分析诊断系统及方法
CN110046073B (zh) 一种日志采集方法及装置、设备、存储介质
CN105159964A (zh) 一种日志监控方法及系统
CN113254254B (zh) 系统故障的根因定位方法、装置、存储介质及电子装置
CN114189430A (zh) 立体化日志全链路监控系统、方法、介质及设备
US20220050765A1 (en) Method for processing logs in a computer system for events identified as abnormal and revealing solutions, electronic device, and cloud server
CN107977473B (zh) 基于Logback的分布式系统日志的检索方法和系统
CN111240876B (zh) 微服务的故障定位方法、装置、存储介质及终端
CN112395156A (zh) 故障的告警方法和装置、存储介质和电子设备
CN105243016A (zh) 对测试平台上的终端设备进行监控的方法、装置和系统
CN108965049A (zh) 提供集群异常解决方案的方法、设备、系统及存储介质
CN108108445A (zh) 一种智能数据处理方法和系统
CN113672456A (zh) 应用平台的模块化自监听方法、系统、终端及存储介质
CN115664939B (zh) 一种基于自动化技术的综合运维方法和存储介质
CN114328107A (zh) 光磁融合存储服务器集群的监控方法、系统及电子设备
CN116932148B (zh) 一种基于ai的问题诊断系统及方法
CN113542026A (zh) 物联网设备故障定位方法、装置、设备及存储介质
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN115766402A (zh) 服务器故障根因的过滤方法和装置、存储介质及电子装置
CN112579406A (zh) 一种日志调用链生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant