CN114398239A - 日志监控方法、装置、计算机设备及存储介质 - Google Patents

日志监控方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114398239A
CN114398239A CN202210055084.3A CN202210055084A CN114398239A CN 114398239 A CN114398239 A CN 114398239A CN 202210055084 A CN202210055084 A CN 202210055084A CN 114398239 A CN114398239 A CN 114398239A
Authority
CN
China
Prior art keywords
target
abnormal information
keyword
log
log file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210055084.3A
Other languages
English (en)
Inventor
郭钊铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202210055084.3A priority Critical patent/CN114398239A/zh
Publication of CN114398239A publication Critical patent/CN114398239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请为日志监控技术领域，本申请提供了一种日志监控方法、装置、计算机设备及存储介质，其中，该方法包括：获取大数据平台下的每个服务器的日志文件及运行状态标识，筛选出满足预设条件的运行状态标识对应的目标日志文件及目标异常信息，根据关键词集合对目标异常信息进行关键词匹配处理，筛选出与关键词相匹配的目标关键词，查询目标关键词对应的目标历史异常信息，确定目标历史异常信息对应的目标历史处理策略，得到目标异常信息对应的处理策略，并生成统计分析结果，将处理策略及统计分析结果发送给维修人员所在终端，从而利用大数据平台将各服务器的日志文件进行统一集中处理，实现简单高效地对大数据平台上各服务器的实时监控和预警。

Description

日志监控方法、装置、计算机设备及存储介质
技术领域
本申请涉及日志监控技术领域，具体而言，本申请涉及一种日志监控方法、装置、计算机设备及存储介质。
背景技术
日志是系统内反映各设备或节点运行状态、数据传输状态以及异常时间状态等多种数据信息的重要载体。通常，日志会分散储存在不同的设备上，随着日志的海量增长，在上百台服务器上，如果还是采用依次登陆每台服务器的传统方法查阅日志和统计业务运行指标，则效率非常低下，操作也很繁琐。
发明内容
本申请的主要目的为提供一种日志监控方法、装置、计算机设备及存储介质，以简化日志采集操作，提高日志监控的效率。
为了实现上述发明目的，本申请提供一种日志监控方法，应用于大数据平台，该日志监控方法包括：
获取所述大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
若获取到满足预设条件的运行状态标识，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
将所述目标日志文件的异常信息确定为目标异常信息；
提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
将所述处理策略及统计分析结果发送给维修人员所在终端。
优选地，所述获取所述大数据平台下的每个服务器的日志文件，包括：
对所述大数据平台下的每个所述服务器进行分类，并为同一类型所述服务器设置相同的标签；
根据所述标签向每个所述服务器批量发送日志采集工具，以使每个所述服务器接收后并安装所述日志采集工具；其中，不同标签对应不同类型的日志采集工具；
接收每个所述日志采集工具采集的日志文件，得到每个服务器的日志文件。
优选地，所述获取到满足预设条件的运行状态标识，包括：
分别获取每个所述运行状态标识对应的异常信息中的关键词；
根据所述关键词确定每个所述运行状态标识对应的告警级别；
若检测到符合预设告警级别的所述告警级别，则获取符合预设告警级别的所述告警级别的运行状态标识，得到满足预设条件的运行状态标识。
优选地，所述根据所述关键词确定每个所述运行状态标识对应的告警级别，包括：
根据预设的出错信息表确定所述关键词对应的告警级别；其中，所述出错信息表包括多个关键词以及多个告警级别，每个告警级别对应至少一个关键词。
优选地，所述根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词，包括：
将所述关键词集合的所有参考关键词分别转换为词向量，得到多个第一词向量；
将所述多个关键词分别转换为词向量，得到多个第二词向量；
分别计算每个第一词向量与所述多个第二词向量的余弦距离，将余弦距离大于预设阈值的第一词向量作为目标词向量；
查询每个所述目标词向量对应的参考关键词，得到目标关键词。
优选地，所述获取所述大数据平台下的每个服务器的日志文件，包括：
获取预先存储至大数据平台的分布式文件系统的多个指定目录文件；
从所述多个指定目录文件中分别获取每个所述服务器的日志文件；其中，每个所述指定目录文件存储有一个所述服务器的日志文件。
优选地，所述将所述处理策略及统计分析结果发送给维修人员所在终端，包括：
确定所述目标异常信息的异常类型；
查询所述异常类型对应的维修人员，得到目标维修人员；
将所述处理策略及统计分析结果发送给所述目标维修人员所在终端。
本申请还提供一种日志监控装置，其包括：
第一获取模块，用于获取大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
第二获取模块，用于获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
筛选模块，用于在获取到满足预设条件的运行状态标识时，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
第一确定模块，用于将所述目标日志文件的异常信息确定为目标异常信息；
提取模块，用于提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
匹配模块，用于根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
查询模块，用于查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
第二确定模块，用于确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
统计模块，用于将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
发送模块，用于将所述处理策略及统计分析结果发送给维修人员所在终端。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本申请所提供的一种日志监控方法、装置、计算机设备及存储介质，通过获取大数据平台下的每个服务器的日志文件，获取每个日志文件的运行状态标识，若获取到满足预设条件的运行状态标识，则筛选出满足预设条件的运行状态标识对应的日志文件，得到目标日志文件，将目标日志文件的异常信息确定为目标异常信息，提取目标异常信息的多个关键词，并从数据库中获取关键词集合，根据关键词集合对目标异常信息进行关键词匹配处理，从关键词集合中筛选出与至少一个关键词相匹配的参考关键词作为目标关键词，查询目标关键词对应的历史异常信息，得到目标历史异常信息，确定目标历史异常信息对应的历史处理策略，得到目标历史处理策略，将目标历史处理策略作为所述目标异常信息对应的处理策略，并对目标异常信息进行统计分析，得到统计分析结果，将处理策略及统计分析结果发送给维修人员所在终端，从而利用大数据平台将各服务器的日志文件进行统一集中处理，以便定位异常问题，并对所获取的日志文件的运行状态标识进行检测，确定目标日志文件及对应的目标异常信息，并结合历史处理策略生成目标异常信息对应的处理策略，同时生成目标异常信息的统计分析结果，便于维修人员参考，以处理异常问题，从而实现简单高效地对大数据平台上各服务器的实时监控和预警。
附图说明
图1为本申请一实施例的日志监控方法的流程示意图；
图2为本申请一实施例的日志监控装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提出的一种日志监控方法，以大数据平台为执行主体，用于解决当前的监控方法采用依次登陆每台服务器的方式查阅日志和统计业务运行指标，效率较低，且操作繁琐的技术问题。参考图1，其中一个实施例中，该日志监控方法包括如下步骤：
S11、获取所述大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
S12、获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
S13、若获取到满足预设条件的运行状态标识，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
S14、将所述目标日志文件的异常信息确定为目标异常信息；
S15、提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
S16、根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
S17、查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
S18、确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
S19、将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
S20、将所述处理策略及统计分析结果发送给维修人员所在终端。
如上述步骤S11所述，本申请的大数据平台可以为一个分布式平台，包括运行在大数据平台上的多个服务器，各服务器均可看成一个节点，而服务器的运行主要依赖于相应的服务进程。因此，可以通过监控服务器的服务进程的运行情况来实现对服务器的日志管理，以判断各服务器是否运行正常。其中，每个所述服务进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是服务器的操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。
具体的，所述服务器中的服务进程在运行过程中会产生相应的日志文件，所述日志文件具体可用于记录所述服务进程的运行信息。所述服务器的日志文件具体可看作所述服务器中至少一个服务进程的运行信息，包括正常信息及异常信息，因此可通过获取服务器中至少一个服务进程的日志文件来确定服务器的运行信息，并基于所述运行信息对所述服务器的工作状态进行监控和预警管理。
在一实施例中，在服务器中的至少一个服务进程出现异常时，则对应的日志文件的异常信息可按照统一的预置格式写入，以方便管理。
如上述步骤S12所述，服务器的服务进程所产生的日志文件中可描述所述服务器的具体运行状态，并会进行相应的运行状态标记，赋予相应的运行状态标识。例如，对于运行错误的服务进程而言，则会在相应的日志文件中进行错误标记，并记录产生错误的详细信息；又如，对于运行正常的服务进程而言，则会在日志文件中进行正常标记，并记录正常的运行信息。此外，运行状态标识还可具体记录服务器每个时刻的运行状态，实现精细化监控。
其中，运行状态标识具体可指日志文件中记录的服务器运行时的运行状态标记，用于描述服务器运行时的稳定程度。具体的，在获取到服务器对应的日志文件后，可以对日志文件中的运行状态标识进行检测，来确定相应服务器的具体工作状态，由此实现对相应服务器工作状态的监控管理。例如，在检测到运行状态标识为运行错误标识时，可以认为相应服务器在运行过程中出现了错误运行的情况，出现错误的服务器的工作状态很不稳定，甚至有可能对大数据平台中的其他服务器的运行产生影响。
如上述步骤S13所述，本实施例可以提取满足预设条件的运行状态标识的日志文件，得到目标日志文件。其中，预设条件可以为设定的用于确定是否进行相应服务器报警信息输出的判定条件，可以是运行状态标识为预设标识，如运行错误标识，可以由维修人员基于大数据平台的实际工作需求预先设定。例如，如果服务器中服务进程运行错误会对大数据平台的处理操作产生影响，则可以将运行状态标识中的运行错误标识设定为预设条件。
如上述步骤S14所述，本实施例可以对目标日志文件的具体内容进行解析和数据清洗，去除无效信息，并提取出异常信息作为目标异常信息。具体的，可以基于设定的解析规则或通过相应的机器学习算法对目标日志文件的具体内容进行解析，所形成的目标异常信息中可以包括目标日志文件的关键词、报警级别以及对所述目标日志文件进行报警的具体原因等。
如上述步骤S15-S19所述，本实施例提取出目标异常信息的多个关键词，并从数据库中获取由所有历史日志文件的历史异常信息对应的参考关键词组成的关键词集合，将目标异常信息的多个关键词与关键词集合中的参考关键词进行一一匹配，以根据关键词集合对目标异常信息进行关键词匹配处理，并判断目标异常信息中是否存在与关键词集合相匹配的关键词，当目标异常信息中存在与关键词集合相匹配的关键词时，从关键词集合中筛选出与至少一个关键词相匹配的参考关键词，得到目标关键词。
然后查询目标关键词对应的历史异常信息，确定历史异常信息对应的历史处理策略，以及该历史处理策略在执行过程中的评分值，该评分值用于评估历史处理策略的执行效果，在评估值大于预设评估值时，则将所述历史处理策略作为所述目标异常信息对应的处理策略，如针对目标异常信息的出错原因查询对应的修复方案，生成含有修复方案的处理策略，以自动推荐合适的处理策略。同时基于不同维度对目标异常信息进行统计分析，得到统计分析结果，如统计某种异常问题出现的频率、时间等，以根据统计分析结果进行针对性处理，避免一些异常情况的发生。
如上述步骤S20所述，大数据平台将处理策略及统计分析结果发送给维修人员所在终端，以使维修人员参照处理策略及统计分析结果对异常问题进行处理，发送方式包括短信、邮件、站内信等。
本申请所提供的一种日志监控方法，通过获取大数据平台下的每个服务器的日志文件，获取每个日志文件的运行状态标识，若获取到满足预设条件的运行状态标识，则筛选出满足预设条件的运行状态标识对应的日志文件，得到目标日志文件，将目标日志文件的异常信息确定为目标异常信息，提取目标异常信息的多个关键词，并从数据库中获取关键词集合，根据关键词集合对目标异常信息进行关键词匹配处理，从关键词集合中筛选出与至少一个关键词相匹配的参考关键词作为目标关键词，查询目标关键词对应的历史异常信息，得到目标历史异常信息，确定目标历史异常信息对应的历史处理策略，得到目标历史处理策略，将目标历史处理策略作为所述目标异常信息对应的处理策略，并对目标异常信息进行统计分析，得到统计分析结果，将处理策略及统计分析结果发送给维修人员所在终端，从而利用大数据平台将各服务器的日志文件进行统一集中处理，以便定位异常问题，并对所获取的日志文件的运行状态标识进行检测，确定目标日志文件及对应的目标异常信息，并结合历史处理策略生成目标异常信息对应的处理策略，同时生成目标异常信息的统计分析结果，便于维修人员参考，以处理异常问题，从而实现简单高效地对大数据平台上各服务器的实时监控和预警。
在一实施例中，所述获取所述大数据平台下的每个服务器的日志文件，可具体包括：
对所述大数据平台下的每个所述服务器进行分类，并为同一类型所述服务器设置相同的标签；
根据所述标签向每个所述服务器批量发送日志采集工具，以使每个所述服务器接收后并安装所述日志采集工具；其中，不同标签对应不同类型的日志采集工具；
接收每个所述日志采集工具采集的日志文件，得到每个服务器的日志文件。
本实施例可通过日志采集工具实时监控、拉取服务器产生的日志文件，日志采集工具集中对日志文件进行传输，将日志文件以消息的形式传递给大数据平台，大数据平台再将日志文件进行储存，从而无需维修人员采用依次登陆每台服务器的方式查阅日志和统计业务运行指标，提高日志文件的采集效率。
具体的，本实施例可按照服务器的功能、处理事项对服务器进行分类，并为同一类型的服务器设置相同的标签，根据标签向服务器批量发送日志采集工具，即根据标签确定服务器的日志采集工具的类型，将该类型的日志采集工具分别发送至该标签对应的服务器，使同一标签对应相同类型的日志采集工具，不同标签对应不同类型的日志采集工具。
各服务器接收后并安装所述日志采集工具，日志采集工具实时监控、拉取服务器产生的日志文件，并将日志文件发送给大数据平台，大数据平台接收每个所述日志采集工具采集的日志文件，得到每个服务器的日志文件。
在一实施例中，所述获取到满足预设条件的运行状态标识，可具体包括：
分别获取每个所述运行状态标识对应的异常信息中的关键词；
根据所述关键词确定每个所述运行状态标识对应的告警级别；
若检测到符合预设告警级别的所述告警级别，则获取符合预设告警级别的所述告警级别的运行状态标识，得到满足预设条件的运行状态标识。
本实施例的运行状态标识可以多个关键词的形式进行表示，因此可分别获取每个所述运行状态标识对应的异常信息中的关键词，根据每个关键词确定每个所述运行状态对应的告警级别，若检测到至少一个告警级别为预设告警级别，则获取符合预设告警级别的所述告警级别的运行状态标识，将符合预设告警级别的告警级别的运行状态标识作为满足预设条件的运行状态标识。例如，当运行状态标识出现告警级别最高的关键词时，则将该运行状态标识作为满足预设条件的运行状态标识。
在一实施例中，所述根据所述关键词确定每个所述运行状态标识对应的告警级别，可具体包括：
根据预设的出错信息表确定所述关键词对应的告警级别；其中，所述出错信息表包括多个关键词以及多个告警级别，每个告警级别对应至少一个关键词。
在本实施方式中，大数据平台预先存储有一出错信息表，所述出错信息表包括多个关键词以及多个告警级别。其中，每一告警级别均会产生对应的错误日志，每个告警级别对应至少一个关键词。确定某一告警级别的错误日志所包含的关键词时，可根据历史经验获得。
具体地，大数据平台可收集过往的错误日志，整理每一错误日志的错误原因以及所述错误日志中所记录的产生错误的详细信息所包含的关键词，从而得到每一错误原因所对应的至少一关键词。然后通过对所述错误原因进行分类以确定其所属的告警级别，从而得到每一告警级别所对应的至少一个关键词。
在一实施例中，所述根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词，可具体包括：
将所述关键词集合的所有参考关键词分别转换为词向量，得到多个第一词向量；
将所述多个关键词分别转换为词向量，得到多个第二词向量；
分别计算每个第一词向量与所述多个第二词向量的余弦距离，将余弦距离大于预设阈值的第一词向量作为目标词向量；
查询每个所述目标词向量对应的参考关键词，得到目标关键词。
本实施例可利用词向量工具word2vec将关键词集合的每个参考关键词分别转换为词向量，得到每个参考关键词对应的第一词向量，同时利用词向量工具word2vec将每个关键词分别转换为词向量，得到每个关键词对应的第二词向量，然后分别计算每个第一词向量与多个第二词向量的余弦距离，将计算得到的余弦距离与预设阈值进行比对，将余弦距离大于预设阈值的第一词向量作为目标词向量，并查询每个所述目标词向量对应的参考关键词，将目标词向量对应的参考关键词作为目标关键词，以通过向量比对，精准地确定目标关键词。
其中，词向量是为了让计算机能够处理的一种词的表示。自然语言处理相关任务中，要将自然语言交给机器学习中的算法来处理，通常需要首先将语言数学化，以使机器能够识别处理。向量是人把自然界的东西抽象出来交给机器处理的东西，基本上可以说向量是人对机器输入的主要方式。
Word2vec输出的词向量可以被用来做很多自然语言处理相关的工作，比如聚类、找同义词、词性分析等等。如果把词当做特征，则Word2vec就可以把特征映射到K维向量空间，可以为文本数据寻求更加深层次的特征表示。具体的，Word2vec将一个词所在的上下文中的词作为输入，而那个词本身作为输出，也就是说，看到一个上下文，希望大概能猜出这个词和它的意思。通过在一个大的语料库训练，得到一个从输入层到隐含层的权重模型，训练完成后，就得到了每个词到隐含层的每个维度的权重，就是每个词的向量。
在一实施例中，所述获取所述大数据平台下的每个服务器的日志文件，可具体包括：
获取预先存储至大数据平台的分布式文件系统的多个指定目录文件；
从所述多个指定目录文件中分别获取每个所述服务器的日志文件；其中，每个所述指定目录文件存储有一个所述服务器的日志文件。
本实施例可将每个服务器的日志文件存储至大数据平台的分布式文件系统的指定目录文件中，且每个指定目录文件存储有一个服务器的日志文件，以方便管理每个服务器的日志文件。其中，分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。
在一实施例中，所述将所述处理策略及统计分析结果发送给维修人员所在终端，可具体包括：
确定所述目标异常信息的异常类型；
查询所述异常类型对应的维修人员，得到目标维修人员；
将所述处理策略及统计分析结果发送给所述目标维修人员所在终端。
本实施例可预先构建一个对照表，对照表中记录了不同异常类型的目标异常信息对应的维修人员，以在需要将处理策略及统计分析结果发送给维修人员所在终端时，根据对照表查询异常类型对应的维修人员，将其作为目标维修人员，将所述处理策略及统计分析结果发送给目标维修人员所在终端，以选择合适的目标维修人员，依照处理策略及统计分析结果对异常问题进行有效修复。
参照图2，本申请实施例中还提供一种日志监控装置，包括：
第一获取模块11，用于获取大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
第二获取模块12，用于获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
筛选模块13，用于在获取到满足预设条件的运行状态标识时，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
第一确定模块14，用于将所述目标日志文件的异常信息确定为目标异常信息；
提取模块15，用于提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
匹配模块16，用于根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
查询模块17，用于查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
第二确定模块18，用于确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
统计模块19，用于将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
发送模块20，用于将所述处理策略及统计分析结果发送给维修人员所在终端。
本申请的大数据平台可以为一个分布式平台，包括运行在大数据平台上的多个服务器，各服务器均可看成一个节点，而服务器的运行主要依赖于相应的服务进程。因此，可以通过监控服务器的服务进程的运行情况来实现对服务器的日志管理，以判断各服务器是否运行正常。其中，每个所述服务进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是服务器的操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。
具体的，所述服务器中的服务进程在运行过程中会产生相应的日志文件，所述日志文件具体可用于记录所述服务进程的运行信息。所述服务器的日志文件具体可看作所述服务器中至少一个服务进程的运行信息，包括正常信息及异常信息，因此可通过获取服务器中至少一个服务进程的日志文件来确定服务器的运行信息，并基于所述运行信息对所述服务器的工作状态进行监控和预警管理。
在一实施例中，在服务器中的至少一个服务进程出现异常时，则对应的日志文件的异常信息可按照统一的预置格式写入，以方便管理。
服务器的服务进程所产生的日志文件中可描述所述服务器的具体运行状态，并会进行相应的运行状态标记，赋予相应的运行状态标识。例如，对于运行错误的服务进程而言，则会在相应的日志文件中进行错误标记，并记录产生错误的详细信息；又如，对于运行正常的服务进程而言，则会在日志文件中进行正常标记，并记录正常的运行信息。此外，运行状态标识还可具体记录服务器每个时刻的运行状态，实现精细化监控。
其中，运行状态标识具体可指日志文件中记录的服务器运行时的运行状态标记，用于描述服务器运行时的稳定程度。具体的，在获取到服务器对应的日志文件后，可以对日志文件中的运行状态标识进行检测，来确定相应服务器的具体工作状态，由此实现对相应服务器工作状态的监控管理。例如，在检测到运行状态标识为运行错误标识时，可以认为相应服务器在运行过程中出现了错误运行的情况，出现错误的服务器的工作状态很不稳定，甚至有可能对大数据平台中的其他服务器的运行产生影响。
本实施例可以提取满足预设条件的运行状态标识的日志文件，得到目标日志文件。其中，预设条件可以为设定的用于确定是否进行相应服务器报警信息输出的判定条件，可以是运行状态标识为预设标识，如运行错误标识，可以由维修人员基于大数据平台的实际工作需求预先设定。例如，如果服务器中服务进程运行错误会对大数据平台的处理操作产生影响，则可以将运行状态标识中的运行错误标识设定为预设条件。
本实施例可以对目标日志文件的具体内容进行解析和数据清洗，去除无效信息，并提取出异常信息作为目标异常信息。具体的，可以基于设定的解析规则或通过相应的机器学习算法对目标日志文件的具体内容进行解析，所形成的目标异常信息中可以包括目标日志文件的关键词、报警级别以及对所述目标日志文件进行报警的具体原因等。
本实施例提取出目标异常信息的多个关键词，并从数据库中获取由所有历史日志文件的历史异常信息对应的参考关键词组成的关键词集合，将目标异常信息的多个关键词与关键词集合中的参考关键词进行一一匹配，以根据关键词集合对目标异常信息进行关键词匹配处理，并判断目标异常信息中是否存在与关键词集合相匹配的关键词，当目标异常信息中存在与关键词集合相匹配的关键词时，从关键词集合中筛选出与至少一个关键词相匹配的参考关键词，得到目标关键词。
然后查询目标关键词对应的历史异常信息，确定历史异常信息对应的历史处理策略，以及该历史处理策略在执行过程中的评分值，该评分值用于评估历史处理策略的执行效果，在评估值大于预设评估值时，则将所述历史处理策略作为所述目标异常信息对应的处理策略，如针对目标异常信息的出错原因查询对应的修复方案，生成含有修复方案的处理策略，以自动推荐合适的处理策略。同时基于不同维度对目标异常信息进行统计分析，得到统计分析结果，如统计某种异常问题出现的频率、时间等，以根据统计分析结果进行针对性处理，避免一些异常情况的发生。
大数据平台将处理策略及统计分析结果发送给维修人员所在终端，以使维修人员参照处理策略及统计分析结果对异常问题进行处理，发送方式包括短信、邮件、站内信等。
如上所述，可以理解地，本申请中提出的所述日志监控装置的各组成部分可以实现如上所述日志监控方法任一项的功能，具体结构不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作系统、计算机程序和数据库。该内存器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储日志监控方法中的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志监控方法。
上述处理器执行上述的日志监控方法，包括：
获取所述大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
若获取到满足预设条件的运行状态标识，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
将所述目标日志文件的异常信息确定为目标异常信息；
提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
将所述处理策略及统计分析结果发送给维修人员所在终端。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种日志监控方法，包括步骤：
获取所述大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
若获取到满足预设条件的运行状态标识，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
将所述目标日志文件的异常信息确定为目标异常信息；
提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
将所述处理策略及统计分析结果发送给维修人员所在终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本申请的最大有益效果在于：
本申请所提供的一种日志监控方法、装置、计算机设备及存储介质，通过获取大数据平台下的每个服务器的日志文件，获取每个日志文件的运行状态标识，若获取到满足预设条件的运行状态标识，则筛选出满足预设条件的运行状态标识对应的日志文件，得到目标日志文件，将目标日志文件的异常信息确定为目标异常信息，提取目标异常信息的多个关键词，并从数据库中获取关键词集合，根据关键词集合对目标异常信息进行关键词匹配处理，从关键词集合中筛选出与至少一个关键词相匹配的参考关键词作为目标关键词，查询目标关键词对应的历史异常信息，得到目标历史异常信息，确定目标历史异常信息对应的历史处理策略，得到目标历史处理策略，将目标历史处理策略作为所述目标异常信息对应的处理策略，并对目标异常信息进行统计分析，得到统计分析结果，将处理策略及统计分析结果发送给维修人员所在终端，从而利用大数据平台将各服务器的日志文件进行统一集中处理，以便定位异常问题，并对所获取的日志文件的运行状态标识进行检测，确定目标日志文件及对应的目标异常信息，并结合历史处理策略生成目标异常信息对应的处理策略，同时生成目标异常信息的统计分析结果，便于维修人员参考，以处理异常问题，从而实现简单高效地对大数据平台上各服务器的实时监控和预警。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种日志监控方法，应用于大数据平台，其特征在于，所述日志监控方法包括：
获取所述大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
若获取到满足预设条件的运行状态标识，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
将所述目标日志文件的异常信息确定为目标异常信息；
提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
将所述处理策略及统计分析结果发送给维修人员所在终端。
2.根据权利要求1所述的方法，其特征在于，所述获取所述大数据平台下的每个服务器的日志文件，包括：
对所述大数据平台下的每个所述服务器进行分类，并为同一类型所述服务器设置相同的标签；
根据所述标签向每个所述服务器批量发送日志采集工具，以使每个所述服务器接收后并安装所述日志采集工具；其中，不同标签对应不同类型的日志采集工具；
接收每个所述日志采集工具采集的日志文件，得到每个服务器的日志文件。
3.根据权利要求1所述的方法，其特征在于，所述获取到满足预设条件的运行状态标识，包括：
分别获取每个所述运行状态标识对应的异常信息中的关键词；
根据所述关键词确定每个所述运行状态标识对应的告警级别；
若检测到符合预设告警级别的所述告警级别，则获取符合预设告警级别的所述告警级别的运行状态标识，得到满足预设条件的运行状态标识。
4.根据权利要求3所述的方法，其特征在于，所述根据所述关键词确定每个所述运行状态标识对应的告警级别，包括：
根据预设的出错信息表确定所述关键词对应的告警级别；其中，所述出错信息表包括多个关键词以及多个告警级别，每个告警级别对应至少一个关键词。
5.根据权利要求1所述的方法，其特征在于，所述根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词，包括：
将所述关键词集合的所有参考关键词分别转换为词向量，得到多个第一词向量；
将所述多个关键词分别转换为词向量，得到多个第二词向量；
分别计算每个第一词向量与所述多个第二词向量的余弦距离，将余弦距离大于预设阈值的第一词向量作为目标词向量；
查询每个所述目标词向量对应的参考关键词，得到目标关键词。
6.根据权利要求1所述的方法，其特征在于，所述获取所述大数据平台下的每个服务器的日志文件，包括：
获取预先存储至大数据平台的分布式文件系统的多个指定目录文件；
从所述多个指定目录文件中分别获取每个所述服务器的日志文件；其中，每个所述指定目录文件存储有一个所述服务器的日志文件。
7.根据权利要求1所述的方法，其特征在于，所述将所述处理策略及统计分析结果发送给维修人员所在终端，包括：
确定所述目标异常信息的异常类型；
查询所述异常类型对应的维修人员，得到目标维修人员；
将所述处理策略及统计分析结果发送给所述目标维修人员所在终端。
8.一种日志监控装置，其特征在于，包括：
第一获取模块，用于获取大数据平台下的每个服务器的日志文件；其中，每个所述日志文件存储有服务器中的至少一个服务进程出现异常时按照预置格式写入的异常信息；
第二获取模块，用于获取每个所述日志文件的运行状态标识；其中，所述运行状态标识用于描述服务器运行时的稳定程度；
筛选模块，用于在获取到满足预设条件的运行状态标识时，则筛选出所述满足预设条件的运行状态标识对应的日志文件，得到目标日志文件；
第一确定模块，用于将所述目标日志文件的异常信息确定为目标异常信息；
提取模块，用于提取所述目标异常信息的多个关键词，并从数据库中获取关键词集合；其中，所述关键词集合包括所有历史日志文件的历史异常信息对应的参考关键词；
匹配模块，用于根据所述关键词集合对所述目标异常信息进行关键词匹配处理，从所述关键词集合中筛选出与至少一个所述关键词相匹配的参考关键词作为目标关键词；
查询模块，用于查询所述目标关键词对应的历史异常信息，得到目标历史异常信息；
第二确定模块，用于确定所述目标历史异常信息对应的历史处理策略，得到目标历史处理策略；
统计模块，用于将所述目标历史处理策略作为所述目标异常信息对应的处理策略，并对所述目标异常信息进行统计分析，得到统计分析结果；
发送模块，用于将所述处理策略及统计分析结果发送给维修人员所在终端。
9.一种计算机设备，其特征在于，包括：
处理器；
存储器；
其中，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的日志监控方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-7任一项所述的日志监控方法。
CN202210055084.3A 2022-01-18 2022-01-18 日志监控方法、装置、计算机设备及存储介质 Pending CN114398239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210055084.3A CN114398239A (zh) 2022-01-18 2022-01-18 日志监控方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210055084.3A CN114398239A (zh) 2022-01-18 2022-01-18 日志监控方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114398239A true CN114398239A (zh) 2022-04-26

Family

ID=81231182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210055084.3A Pending CN114398239A (zh) 2022-01-18 2022-01-18 日志监控方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114398239A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419756A (zh) * 2022-01-30 2022-04-29 重庆长安汽车股份有限公司 一种动态捕获整车异常场景的方法及系统
CN114647636A (zh) * 2022-05-13 2022-06-21 杭银消费金融股份有限公司 大数据异常检测方法及系统
CN114842568A (zh) * 2022-05-06 2022-08-02 北京华夏运通科技有限公司 智能巡检方法、装置、设备及存储介质
CN114998839A (zh) * 2022-07-06 2022-09-02 北京原流科技有限公司 一种基于层级分布的数据管理方法以及系统
CN115118473A (zh) * 2022-06-20 2022-09-27 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质
CN115242623A (zh) * 2022-07-25 2022-10-25 济南浪潮数据技术有限公司 一种日志收集方法、装置、设备及存储介质
CN115248809A (zh) * 2022-09-22 2022-10-28 山东康健因特智能控制科技有限公司 基于边缘计算的用户通讯数据管理方法
CN115454954A (zh) * 2022-08-31 2022-12-09 上海移柯通信技术股份有限公司 数据处理方法、系统、装置及电子设备
CN115470092A (zh) * 2022-11-14 2022-12-13 成都银光软件有限公司 基于多任务分发的食品监控展示方法及系统
CN115759734A (zh) * 2022-10-19 2023-03-07 国网物资有限公司 基于指标的电力业务供应链监控方法、装置、设备和介质
CN116090808A (zh) * 2023-03-06 2023-05-09 北京神州光大科技有限公司 一种rpa断点重建方法、装置、电子设备和介质
CN116205612A (zh) * 2023-05-04 2023-06-02 国网山东省电力公司滨州市沾化区供电公司 辅助生成电网维护方案的方法、系统、终端及存储介质
CN116860578A (zh) * 2023-07-07 2023-10-10 广州守恶网络科技有限公司 一种网络与信息安全日志管理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309579A (zh) * 2018-01-30 2019-02-05 深圳壹账通智能科技有限公司 日志记录处理方法、装置、计算机设备和存储介质
CN109325865A (zh) * 2018-08-13 2019-02-12 中国平安人寿保险股份有限公司 异常处理方法、装置、计算机设备及存储介质
CN110096485A (zh) * 2019-03-18 2019-08-06 平安普惠企业管理有限公司 日志查询方法、装置、计算机设备及存储介质
CN112711520A (zh) * 2020-12-30 2021-04-27 平安科技（深圳）有限公司 异常日志信息的处理方法、装置、设备及存储介质
CN113438114A (zh) * 2021-06-29 2021-09-24 平安普惠企业管理有限公司 互联网系统的运行状态监控方法、装置、设备及存储介质
CN113672456A (zh) * 2021-08-06 2021-11-19 济南浪潮数据技术有限公司 应用平台的模块化自监听方法、系统、终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309579A (zh) * 2018-01-30 2019-02-05 深圳壹账通智能科技有限公司 日志记录处理方法、装置、计算机设备和存储介质
CN109325865A (zh) * 2018-08-13 2019-02-12 中国平安人寿保险股份有限公司 异常处理方法、装置、计算机设备及存储介质
CN110096485A (zh) * 2019-03-18 2019-08-06 平安普惠企业管理有限公司 日志查询方法、装置、计算机设备及存储介质
CN112711520A (zh) * 2020-12-30 2021-04-27 平安科技（深圳）有限公司 异常日志信息的处理方法、装置、设备及存储介质
CN113438114A (zh) * 2021-06-29 2021-09-24 平安普惠企业管理有限公司 互联网系统的运行状态监控方法、装置、设备及存储介质
CN113672456A (zh) * 2021-08-06 2021-11-19 济南浪潮数据技术有限公司 应用平台的模块化自监听方法、系统、终端及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419756A (zh) * 2022-01-30 2022-04-29 重庆长安汽车股份有限公司 一种动态捕获整车异常场景的方法及系统
CN114842568A (zh) * 2022-05-06 2022-08-02 北京华夏运通科技有限公司 智能巡检方法、装置、设备及存储介质
CN114647636A (zh) * 2022-05-13 2022-06-21 杭银消费金融股份有限公司 大数据异常检测方法及系统
CN114647636B (zh) * 2022-05-13 2022-08-12 杭银消费金融股份有限公司 大数据异常检测方法及系统
CN115118473A (zh) * 2022-06-20 2022-09-27 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质
CN115118473B (zh) * 2022-06-20 2023-07-14 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质
CN114998839B (zh) * 2022-07-06 2023-01-31 北京原流科技有限公司 一种基于层级分布的数据管理方法以及系统
CN114998839A (zh) * 2022-07-06 2022-09-02 北京原流科技有限公司 一种基于层级分布的数据管理方法以及系统
CN115242623A (zh) * 2022-07-25 2022-10-25 济南浪潮数据技术有限公司 一种日志收集方法、装置、设备及存储介质
CN115454954A (zh) * 2022-08-31 2022-12-09 上海移柯通信技术股份有限公司 数据处理方法、系统、装置及电子设备
CN115248809B (zh) * 2022-09-22 2022-12-30 山东康健因特智能控制科技有限公司 基于边缘计算的用户通讯数据管理方法
CN115248809A (zh) * 2022-09-22 2022-10-28 山东康健因特智能控制科技有限公司 基于边缘计算的用户通讯数据管理方法
CN115759734A (zh) * 2022-10-19 2023-03-07 国网物资有限公司 基于指标的电力业务供应链监控方法、装置、设备和介质
CN115759734B (zh) * 2022-10-19 2024-01-12 国网物资有限公司 基于指标的电力业务供应链监控方法、装置、设备和介质
CN115470092A (zh) * 2022-11-14 2022-12-13 成都银光软件有限公司 基于多任务分发的食品监控展示方法及系统
CN115470092B (zh) * 2022-11-14 2023-03-24 成都银光软件有限公司 基于多任务分发的食品监控展示方法及系统
CN116090808A (zh) * 2023-03-06 2023-05-09 北京神州光大科技有限公司 一种rpa断点重建方法、装置、电子设备和介质
CN116205612A (zh) * 2023-05-04 2023-06-02 国网山东省电力公司滨州市沾化区供电公司 辅助生成电网维护方案的方法、系统、终端及存储介质
CN116860578A (zh) * 2023-07-07 2023-10-10 广州守恶网络科技有限公司 一种网络与信息安全日志管理系统及方法

Similar Documents

Publication Publication Date Title
CN114398239A (zh) 日志监控方法、装置、计算机设备及存储介质
US20200293946A1 (en) Machine learning based incident classification and resolution
CN109687991B (zh) 用户行为识别方法、装置、设备及存储介质
CN113282461B (zh) 传输网的告警识别方法和装置
CN105893225A (zh) 一种错误自动处理方法及装置
CN114116397A (zh) 一种监控指标的预警归因方法、装置、设备及存储介质
CN105677791A (zh) 用于分析风力发电机组的运行数据的方法和系统
CN110597651A (zh) 业务异常排查方法、装置、设备及计算机可读存储介质
CN110648172B (zh) 一种融合多种移动设备的身份识别方法和系统
CN113254250B (zh) 数据库服务器异常成因检测方法、装置、设备和存储介质
CN114461864A (zh) 一种告警溯源方法和装置
CN113947076A (zh) 保单数据的检测方法、装置、计算机设备及存储介质
CN113704772A (zh) 基于用户行为大数据挖掘的安全防护处理方法及系统
CN116452212B (zh) 一种智能客服商品知识库信息管理方法及系统
CN115658443B (zh) 一种日志过滤方法及装置
CN108234484A (zh) 用于追溯木马源的计算机可读存储介质和应用该介质的木马源追溯系统
CN114422341B (zh) 一种基于指纹特征的工控资产识别方法及系统
CN112003884A (zh) 一种网络资产的采集和自然语言检索方法
US11822578B2 (en) Matching machine generated data entries to pattern clusters
CN114691505A (zh) 程序问题的定位方法、电子设备及存储介质
CN113901075A (zh) 生成sql语句的方法、装置、计算机设备及存储介质
CN112436969A (zh) 一种物联网设备管理方法、系统、设备及介质
CN111199423A (zh) 用户行为轨迹生成方法、装置、设备及存储介质
CN116112350A (zh) 一种宽带故障处理方法、装置、电子设备和可读存储介质
CN116489047B (zh) 一种基于边缘计算的智能通讯管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination