CN113656247A - 一种服务监控方法、装置、电子设备及可读存储介质 - Google Patents

一种服务监控方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113656247A
CN113656247A CN202110939010.1A CN202110939010A CN113656247A CN 113656247 A CN113656247 A CN 113656247A CN 202110939010 A CN202110939010 A CN 202110939010A CN 113656247 A CN113656247 A CN 113656247A
Authority
CN
China
Prior art keywords
target
log
request
service
service interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110939010.1A
Other languages
English (en)
Inventor
王平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110939010.1A priority Critical patent/CN113656247A/zh
Publication of CN113656247A publication Critical patent/CN113656247A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种服务监控方法、装置、电子设备及可读存储介质，属于计算机技术领域。本申请通过针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码；基于所述目标状态码确定至少一个所述目标请求中的错误请求；基于所述错误请求确定所述服务接口的状态信息。以实现基于第一目标请求中包括的错误请求，确定该服务接口的状态信息，也即该服务的健康状况，确定过程无需人为参与，从而提高了确定服务的健康状况的效率。

Description

一种服务监控方法、装置、电子设备及可读存储介质
技术领域
本申请涉及计算机领域，尤其涉及一种服务监控方法、装置、电子设备及可读存储介质。
背景技术
计算机系统为了维护自身服务的运行状况，一般都会有相应的日志记录系统事件，形成系统事件对应的日志。在实际使用中，可以通过读取日志中记录的数据监控各项服务的健康状况。
目前，在读取日志中记录的数据得到各项服务的运行数据后，利用可视化工具展示这些数据，然后，运维人员通过分析这些数据判断各项服务的健康状况。
然而，通过人为分析运行数据判断各项服务的健康状况，浪费人力且效率低下。
发明内容
为了解决上述通过人为分析运行数据判断各项服务的健康状况，浪费人力且效率低下的技术问题，本申请提供了一种服务监控方法、装置、电子设备及可读存储介。
第一方面，提供了一种服务监控方法，所述方法包括：
针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述服务器日志用于记录所述服务接口的访问情况，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码；
基于所述目标状态码确定至少一个所述目标请求中的错误请求；
基于所述错误请求确定所述服务接口的状态信息。
可选地，所述基于所述错误请求确定所述服务接口的状态信息，包括：
基于所述第一目标请求的数量信息和所述错误请求的数量信息，确定所述服务接口在接收所述第一目标请求过程中出现所述错误请求的目标频率；
在所述目标频率小于预设频率阈值时，所述目标服务的状态信息为无异常：
在所述目标频率大于或等于预设频率阈值时，所述目标服务的状态信息为异常。
可选地，所述方法还包括：
获取服务器中的日志文件，所述日志文件包括至少一个服务器日志；
按照预设第一格式建立至少一个所述服务器日志的第一索引；
所述从服务器日志中，确定与所述服务接口对应的目标日志数据，包括：
按照所述第一索引读取所述服务器日志中的第一日志数据；
在所述第一日志数据中，确定与所述服务接口对应的目标日志数据。
可选地，所述日志文件还包括至少一个应用日志，所述应用日志用于记录服务器中发生的事件，所述方法还包括：
按照预设第一规则对所述第一日志数据进行聚合，得到第一统计数据；
按照第二索引读取所述应用日志中的第二日志数据，所述第二索引是预先针对至少一个所述应用日志按照预设第二格式建立的，并按照预设第二规则对所述第二日志数据进行聚合，得到第二统计数据；
展示所述第一统计数据和所述第二统计数据。
可选地，所述目标日志数据中还包括：与所述第一目标请求对应的跟踪ID，当第一目标请求为错误请求时，所述方法还包括：
将所述错误请求对应的跟踪ID作为目标跟踪ID；
利用所述目标跟踪ID，查找与所述错误请求对应的应用日志及所述应用日志中与所述错误请求对应的异常数据。
可选地，所述方法还包括：
基于所述错误请求和所述异常数据生成异常分析报告；
将所述异常分析报告发送至用户设备。
第二方面，提供了一种服务监控装置，所述装置包括：
第一确定模块，用于针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述服务器日志用于记录所述服务接口的访问情况，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码；
第二确定模块，用于基于所述目标状态码确定至少一个所述目标请求中的错误请求；
第三确定模块，用于基于所述错误请求确定所述服务接口的状态信息。
可选地，所述第三确定模块，具体用于：
基于所述第一目标请求的数量信息和所述错误请求的数量信息，确定所述服务接口在接收所述第一目标请求过程中出现所述错误请求的目标频率；
在所述目标频率小于预设频率阈值时，所述目标服务的状态信息为无异常：
在所述目标频率大于或等于预设频率阈值时，所述目标服务的状态信息为异常。
可选地，所述装置，还包括：
获取模块，用于获取服务器中的日志文件，所述日志文件包括至少一个服务器日志；
建立模块，用于按照预设第一格式建立至少一个所述服务器日志的第一索引；
可选地，所述第一确定模块，具体用于：
按照所述第一索引读取所述服务器日志中的第一日志数据；
在所述第一日志数据中，确定与所述服务接口对应的目标日志数据。
可选地，所述日志文件还包括至少一个应用日志，所述应用日志用于记录服务器中发生的事件，所述装置，还包括：
第一统计模块，用于按照预设第一规则对所述第一日志数据进行聚合，得到第一统计数据；
第二统计模块，用于按照第二索引读取所述应用日志中的第二日志数据，所述第二索引是预先针对至少一个所述应用日志按照预设第二格式建立的，并按照预设第二规则对所述第二日志数据进行聚合，得到第二统计数据；
展示模块，用于展示所述第一统计数据和所述第二统计数据。
可选地，所述目标日志数据中还包括：与所述第一目标请求对应的跟踪ID，当第一目标请求为错误请求时，所述装置，还包括：
第四确定模块，用于将所述错误请求对应的跟踪ID作为目标跟踪ID；
查找模块，用于利用所述目标跟踪ID，查找与所述错误请求对应的应用日志及所述应用日志中与所述错误请求对应的异常数据。
可选地，所述装置，还包括：
生成模块，用于基于所述错误请求和所述异常数据生成异常分析报告；
发送模块，用于将所述异常分析报告发送至用户设备。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的服务监控方法。
本申请实施例有益效果：
本申请实施例提供了一种服务监控方法、装置、电子设备及可读存储介质，本申请通过，在服务器日志中确定目标服务的服务接口接收到的第一目标请求，然后，确定第一目标请求中包括的错误请求，最后，基于第一目标请求中包括的错误请求，确定该服务接口的状态信息，也即该服务的健康状况，确定过程无需人为参与，从而提高了确定服务的健康状况的效率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种服务监控方法的流程图；
图2为本申请另一种实施例提供的一种服务监控方法的流程图；
图3为本申请实施例提供的一种服务监控装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于目前，在读取日志中记录的数据得到各项服务的运行数据后，利用可视化工具展示这些数据，然后，通过人为分析运行数据判断各项服务的健康状况，浪费人力且效率低下。为此，本申请实施例提供了一种服务监控方法，可以应用于服务器。
下面将结合具体实施方式，对本申请实施例提供的一种服务监控方法进行详细的说明，如图1所示，具体步骤如下：
S101，针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述服务器日志用于记录所述服务接口的访问情况，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码。
在本申请实施例中，目标服务为待检测健康状况的网络服务，网络服务是指一些在网络上运行的、面向服务的、基于分布式程序的软件模块，网络服务采用HTTP(HyperTextTransfer Protocol，超文本传输协议)和XML(EXtensible Markup Language，可扩展置标语言)等互联网通用标准，使用户可以在不同的地方通过不同的终端设备访问网络上的数据。一项网络服务包括至少一个服务接口，用户通过访问某项网络服务的服务接口调用该网络服务。
第一目标请求为访问服务接口的网络请求(如HTTP请求)，目标状态码表示网络服务针对该请求的响应状态，例如，2开头的HTTP状态码表示成功处理了请求，4开头的HTTP状态码表示请求出错。
服务器日志指nginx日志，用于记录服务接口的访问情况。访问服务接口时，nginx日志中会记录访问该服务接口的请求以及与该请求对应的相对路径(path)和状态码，针对同一个服务接口，访问该服务接口的path唯一，因此可以基于path确定目标服务每个服务接口对应的目标日志数据。
S102，基于所述目标状态码确定至少一个所述目标请求中的错误请求。
在本申请实施例中，目标状态码可以表示目标服务针对第一目标请求的响应状态，目标状态码为预设状态码(例如4开头的HTTP状态码)时，表示第一目标请求为错误请求，因此，可以基于与第一目标请求对应的目标状态码确定第一目标请求是否为错误请求。
S103，基于所述错误请求确定所述服务接口的状态信息。
在本申请实施例中，状态信息指目标服务的健康状况，服务对请求的响应状态可以体现服务的健康状况。因此可以基于服务接口对应的错误请求确定目标服务的状态信息。
本申请实施例中，通过在服务器日志中确定目标服务的服务接口接收到的第一目标请求，然后，确定第一目标请求中包括的错误请求，最后，基于第一目标请求中包括的错误请求，确定该服务接口的状态信息，也即该服务的健康状况，确定过程无需人为参与，从而提高了确定服务的健康状况的效率。
在本申请又一实施例中，所述S103，具体可以包括以下步骤：
S201，基于所述第一目标请求的数量信息和所述错误请求的数量信息，确定所述服务接口在接收所述第一目标请求过程中出现所述错误请求的目标频率。
在本申请实施例中，可以基于目标日志数据中的path确定与服务接口对应的第一目标请求，进而确定第一目标请求的数量信息，确定第一目标请求后，根据第一目标请求对应的目标状态码确定哪些第一目标请求为错误请求，进而确定错误请求的数量信息，进而第一目标请求的数量信息和错误请求的数量信息，确定服务接口在接收第一目标请求过程中出现错误请求的目标频率。
在本申请实施例的一种实施方式中，在目标服务包括至少两个服务接口时，确定至少两个服务接口在接收第一目标请求过程中出现错误请求的平均频率作为目标频率。
例如，目标服务包括接口a和接口b两个接口，接口a对应5个第一目标请求，其中包括1个错误请求，4个成功请求，接口b对应5个第一目标请求，其中包括2个错误请求，3个成功请求，则目标服务所有服务接口对应的第一目标请求为10个，其中错误请求为3个，错误请求出现平均频率为0.3，则确定目标频率为0.3。
S202，在所述目标频率小于预设频率阈值时，所述目标服务的状态信息为无异常。
在本申请实施例中，预设频率阈值可以基于历史数据人为设置。服务接口在接收第一目标请求过程中出现错误请求的目标频率，可以反应目标服务一段时间内对请求的响应情况，因此可以基于服务接口在接收第一目标请求过程中出现错误请求的目标频率确定目标服务的状态信息。当目标频率小于预设频率阈值时，确定目标服务的状态信息为无异常。
S203，在所述目标频率大于或等于预设频率阈值时，所述目标服务的状态信息为异常。
在本申请实施例中，当目标频率大于或等于预设频率阈值时，确定目标服务的状态信息为异常。
在本申请实施例的又一实施方式中，频率阈值可以设置多个，每个频率阈值对应不同的状态信息。
例如预设频率阈值为0.3和0.6，即，当目标频率大于或等于0.6时状态信息为严重异常，当目标频率大于或等于0.3且小于或等于0.6时状态信息为一般异常，当目标频率小于0.3时状态信息为无异常。
本申请实施例中，通过基于所述第一目标请求的数量信息和所述错误请求的数量信息，确定所述服务接口在接收所述第一目标请求过程中出现所述错误请求的目标频率；在所述目标频率小于预设频率阈值时，所述目标服务的状态信息为无异常：在所述目标频率大于或等于预设频率阈值时，所述目标服务的状态信息为异常。通过本申请可以基于服务接口在接收第一目标请求过程中出现错误请求的目标频率，确定目标服务是否异常，确定过程简单高效。
由于企业中一般都有多台服务器，日志文件分布在各个服务器或系统中，导致查看或使用日志文件中的数据时，费时费力。为此，在本申请又一实施例中，所述方法还可以包括以下步骤：
步骤一，获取服务器中的日志文件，所述日志文件包括至少一个服务器日志。
在本申请实施例中，服务器中的日志文件包括至少一个服务器日志和应用日志，服务器日志中记录访问的请求及与请求对应的path和状态码，应用日志中记录系统中发生的事件，可以通过应用日志检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。服务器日志和应用日志存储在服务器中不同的存储位置，可以根据获取日志文件的位置可以确定日志文件的类型。
步骤二，按照预设第一格式建立至少一个所述服务器日志的第一索引。
在本申请实施例中，收集到所有日志文件后，按照预设第一格式建立收集的所有服务器日志的第一索引，并基于第一索引将所有服务器日志存储到预设第一存储位置。从而将分布在各个服务器或系统中的服务器日志集中到一个存储位置进行存储。
在本申请实施例的又一实施方式中，还可以按照预设格式建立服务器中所有日志文件的索引，并基于所述索引将所有日志文件存储到预设存储位置，并基于日志文件的类型为日志文件标注标签。
在该实施方式中，收集到所有日志文件后，按照统一的格式建立所有日志文件的索引，例如，在命名日志文件时，使用统一的后缀，由于索引是一个字符列，当后缀统一后，通过检索这段统一的后缀字符就可以查找到所有以该后缀命名的日志，基于该索引将所有日志文件存储到一个存储位置，后续可以根据该索引快速获取到日志文件，然后根据日志文件的类型对日志文件标注标签(如服务器日志和应用日志)。
本申请实施例中，将服务器中所有日志文件按照类型，建立统一的索引，然后按照索引进行统一存储，可以方便后续获取数据，提高获取数据的效率。
在本申请又一实施例中，所述S101，具体可以包括以下步骤：：
步骤一，按照所述第一索引读取所述服务器日志中的第一日志数据。
步骤二，在所述第一日志数据中，确定与所述服务接口对应的目标日志数据。
在本申请实施例中，按照第一索引将服务器日志存储到第一存储位置后，后续读取数据时，即可按照第一索引读取第一存储位置存储的服务器日志中的第一日志数据，然后在第一日志数据中，基于path确定与服务接口对应的目标日志数据。通过本方案可以提高获取数据的效率。
在本申请又一实施例中，所述方法还可以包括以下步骤：
步骤一，按照预设第一规则对所述第一日志数据进行聚合，得到第一统计数据。
在本申请实施例中，为了方便查看各项服务的运行状态，按照第一索引读取第一存储位置存储的服务器日志中的第一日志数据之后，可以根据path和状态码做聚合，生成基于path和状态码的基础统计数据，即，先将第一日志数据按照path进行分类，将同一path分类下的第一日志数据在同一片区域进行展示，然后针对同一path的第一日志数据按照状态码进行分类，在同一path分类下展示的基础上，将同一状态码分类下的第一日志数据在同一片区域进行展示，然后，按照服务对基础统计数据进行二次聚合，生成基于服务的第一统计数据。
步骤二，按照第二索引读取所述应用日志中的第二日志数据，所述第二索引是预先针对至少一个所述应用日志按照预设第二格式建立的，并按照预设第二规则对所述第二日志数据进行聚合，得到第二统计数据。
在本申请实施例中，收集到所有日志文件后，还按照预设第二格式建立收集的所有应用日志的第二索引，并基于第二索引将所有应用日志存储到预设第二存储位置。从而将分布在各个服务器或系统中的应用日志集中到一个存储位置进行存储。
为了方便查看各项服务的运行状态，按照第二索引读取第二存储位置存储的服务器日志中的第二日志数据之后，可以基于第二日志数据中包括的异常信息对第二日志数据进行聚合，即，将第二日志数据按照异常信息进行分类，将同一分类下的第二日志数据在同一片区域进行展示，生成基于异常信息的第二统计数据。例如，异常信息包括异常一和异常二，1-10条第二日志数据对应的异常信息为异常一，11-20对应的异常信息为异常二，在使用表格对第二日志数据进行统计时，将1-10条第二日志数据在该表格中1-10行进行展示，将11-20条第二日志数据在该表格中11-20进行展示，从而方便查看。
步骤三，展示所述第一统计数据和所述第二统计数据。
在本申请实施例中，得到第一统计数据和第二统计数据后，可以利用数据可视化工具Grafana展示第一统计数据和第二统计数据。通过第一统计数据可以对服务的接口健康状况进行监控，通过第二统计数据可以对服务内部的健康状态进行监控。
本申请实施例中，可以按照预设规则将日志数据进行聚合，然后利用可视化工具展示聚合后的数据，方便查看数据，并且可以提高计算效率。
在本申请又一实施例中，所述方法还可以包括以下步骤：
步骤一，将所述错误请求对应的跟踪ID作为目标跟踪ID；
在本申请实施例中，目标日志数据中还包括与第一目标请求对应的跟踪ID，跟踪ID指全链路跟踪TraceId，通过全链路跟踪TraceId可以查找到对应的应用日志及应用日志中对应的日志数据。当第一目标请求为错误请求时，将该错误请求对应的跟踪ID作为目标跟踪ID。
步骤二，利用所述目标跟踪ID，查找与所述错误请求对应的应用日志及所述应用日志中与所述错误请求对应的异常数据。
在本申请实施例中，可以利用目标跟踪ID，查找与错误请求对应的应用日志及该应用日志中与错误请求对应的异常数据。应用日志记录了系统中发生的事件，因此可以通过应用日志记录的可以通过异常确定错误请求发生的原因。
本申请实施例中，将所述错误请求对应的跟踪ID作为目标跟踪ID；利用所述目标跟踪ID，查找与所述错误请求对应的应用日志及所述应用日志中与所述错误请求对应的异常数据。可以快速定位到错误请求对应的应用日志中记录的异常数据，进而确定错误请求发生的原因。
在本申请又一实施例中，所述方法还可以包括以下步骤：
步骤一，基于所述错误请求和所述异常数据生成异常分析报告；将所述异常分析报告发送至用户设备。
在本申请实施例中，可以基于错误请求和异常数据生成异常分析报告，异常分析报告中可以包括每种分析结果的概率及建议修复方案，同时每个方案后可以附加完整的链路日志，并将异常分析报告发送至用户设备。从而使运维人员及时了解异常情况，并提高解决异常的效率。
本申请实施例中，通过在服务器日志中确定目标服务的服务接口接收到的第一目标请求，然后，确定第一目标请求中包括的错误请求，最后，基于第一目标请求中包括的错误请求，确定该服务接口的状态信息，也即该服务的健康状况，确定过程无需人为参与，从而提高了确定服务的健康状况的效率。
基于相同的技术构思，本申请实施例还提供了一种服务监控装置，如图3所示，该装置包括：
第一确定模块301，用于针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述服务器日志用于记录所述服务接口的访问情况，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码；
第二确定模块302，用于基于所述目标状态码确定至少一个所述目标请求中的错误请求；
第三确定模块303，用于基于所述错误请求确定所述服务接口的状态信息。
可选地，所述第三确定模块，具体用于：
基于所述第一目标请求的数量信息和所述错误请求的数量信息，确定所述服务接口在接收所述第一目标请求过程中出现所述错误请求的目标频率；
在所述目标频率小于预设频率阈值时，所述目标服务的状态信息为无异常：
在所述目标频率大于或等于预设频率阈值时，所述目标服务的状态信息为异常。
可选地，所述装置，还包括：
获取模块，用于获取服务器中的日志文件，所述日志文件包括至少一个服务器日志；
建立模块，用于按照预设第一格式建立至少一个所述服务器日志的第一索引；
可选地，所述第一确定模块，具体用于：
按照所述第一索引读取所述服务器日志中的第一日志数据；
在所述第一日志数据中，确定与所述服务接口对应的目标日志数据。
可选地，所述装置，还包括：
第一统计模块，用于按照预设第一规则对所述第一日志数据进行聚合，得到第一统计数据；
第二统计模块，用于按照第二索引读取所述应用日志中的第二日志数据，所述第二索引是预先针对至少一个所述应用日志按照预设第二格式建立的，并按照预设第二规则对所述第二日志数据进行聚合，得到第二统计数据；
展示模块，用于展示所述第一统计数据和所述第二统计数据。
可选地，所述目标日志数据中还包括：与所述第一目标请求对应的跟踪ID，当第一目标请求为错误请求时，所述装置，还包括：
第四确定模块，用于将所述错误请求对应的跟踪ID作为目标跟踪ID；
查找模块，用于利用所述目标跟踪ID，查找与所述错误请求对应的应用日志及所述应用日志中与所述错误请求对应的异常数据。
可选地，所述装置，还包括：
生成模块，用于基于所述错误请求和所述异常数据生成异常分析报告；
发送模块，用于将所述异常分析报告发送至用户设备。
本申请实施例中，通过在服务器日志中确定目标服务的服务接口接收到的第一目标请求，然后，确定第一目标请求中包括的错误请求，最后，基于第一目标请求中包括的错误请求，确定该服务接口的状态信息，也即该服务的健康状况，确定过程无需人为参与，从而提高了确定服务的健康状况的效率。
基于相同的技术构思，本申请实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述服务器日志用于记录所述服务接口的访问情况，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码；
基于所述目标状态码确定至少一个所述目标请求中的错误请求；
基于所述错误请求确定所述服务接口的状态信息。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一服务监控方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一服务监控方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种服务监控方法，其特征在于，所述方法包括：
针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述服务器日志用于记录所述服务接口的访问情况，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码；
基于所述目标状态码确定至少一个所述目标请求中的错误请求；
基于所述错误请求确定所述服务接口的状态信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述错误请求确定所述服务接口的状态信息，包括：
基于所述第一目标请求的数量信息和所述错误请求的数量信息，确定所述服务接口在接收所述第一目标请求过程中出现所述错误请求的目标频率；
在所述目标频率小于预设频率阈值时，所述目标服务的状态信息为无异常：
在所述目标频率大于或等于预设频率阈值时，所述目标服务的状态信息为异常。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取服务器中的日志文件，所述日志文件包括至少一个服务器日志；
按照预设第一格式建立至少一个所述服务器日志的第一索引；
所述从服务器日志中，确定与所述服务接口对应的目标日志数据，包括：
按照所述第一索引读取所述服务器日志中的第一日志数据；
在所述第一日志数据中，确定与所述服务接口对应的目标日志数据。
4.根据权利要求3所述的方法，其特征在于，所述日志文件还包括至少一个应用日志，所述应用日志用于记录服务器中发生的事件，所述方法还包括：
按照预设第一规则对所述第一日志数据进行聚合，得到第一统计数据；
按照第二索引读取所述应用日志中的第二日志数据，所述第二索引是预先针对至少一个所述应用日志按照预设第二格式建立的，并按照预设第二规则对所述第二日志数据进行聚合，得到第二统计数据；
展示所述第一统计数据和所述第二统计数据。
5.根据权利要求1所述的方法，其特征在于，所述目标日志数据中还包括：与所述第一目标请求对应的跟踪ID，当第一目标请求为错误请求时，所述方法还包括：
将所述错误请求对应的跟踪ID作为目标跟踪ID；
利用所述目标跟踪ID，查找与所述错误请求对应的应用日志及所述应用日志中与所述错误请求对应的异常数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
基于所述错误请求和所述异常数据生成异常分析报告；
将所述异常分析报告发送至用户设备。
7.一种服务监控装置，其特征在于，所述装置包括：
第一确定模块，用于针对目标服务对应的服务接口，从服务器日志中，确定与所述服务接口对应的目标日志数据，所述服务器日志用于记录所述服务接口的访问情况，所述目标日志数据中包括所述服务接口接收到的至少一个第一目标请求及与所述第一目标请求对应的目标状态码；
第二确定模块，用于基于所述目标状态码确定至少一个所述目标请求中的错误请求；
第三确定模块，用于基于所述错误请求确定所述服务接口的状态信息。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202110939010.1A 2021-08-16 2021-08-16 一种服务监控方法、装置、电子设备及可读存储介质 Pending CN113656247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939010.1A CN113656247A (zh) 2021-08-16 2021-08-16 一种服务监控方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939010.1A CN113656247A (zh) 2021-08-16 2021-08-16 一种服务监控方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113656247A true CN113656247A (zh) 2021-11-16

Family

ID=78491138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939010.1A Pending CN113656247A (zh) 2021-08-16 2021-08-16 一种服务监控方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113656247A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301760A (zh) * 2021-12-17 2022-04-08 北京达佳互联信息技术有限公司 一种测试方法、装置、电子设备及存储介质
CN114564349A (zh) * 2022-01-28 2022-05-31 苏州浪潮智能科技有限公司 一种服务器的监控方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203952A1 (en) * 2004-03-11 2005-09-15 Microsoft Corporation Tracing a web request through a web server
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术（中国）有限公司 监控应用日志的方法及系统
US20140082184A1 (en) * 2012-09-14 2014-03-20 Alibaba Group Holding Limited Method and system for monitoring execution of user request in distributed system
CN107688899A (zh) * 2017-08-22 2018-02-13 北京潘达互娱科技有限公司 业务流程监控方法及装置
US20180225192A1 (en) * 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Object oriented data tracking on client and remote server
CN110245060A (zh) * 2019-05-20 2019-09-17 北京奇艺世纪科技有限公司 服务监控方法和设备、服务监控装置及介质
CN110855477A (zh) * 2019-10-29 2020-02-28 浙江大搜车软件技术有限公司 链路日志监控方法、装置、计算机设备和存储介质
CN111078447A (zh) * 2019-11-24 2020-04-28 杭州安恒信息技术股份有限公司 一种微服务架构中的异常定位方法、装置、设备、介质
CN112422344A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 日志异常的告警方法、装置、存储介质及电子装置
CN112506894A (zh) * 2020-12-02 2021-03-16 平安医疗健康管理股份有限公司 基于链路追踪的服务链日志处理方法、装置和计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203952A1 (en) * 2004-03-11 2005-09-15 Microsoft Corporation Tracing a web request through a web server
US20140082184A1 (en) * 2012-09-14 2014-03-20 Alibaba Group Holding Limited Method and system for monitoring execution of user request in distributed system
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术（中国）有限公司 监控应用日志的方法及系统
US20180225192A1 (en) * 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Object oriented data tracking on client and remote server
CN107688899A (zh) * 2017-08-22 2018-02-13 北京潘达互娱科技有限公司 业务流程监控方法及装置
CN110245060A (zh) * 2019-05-20 2019-09-17 北京奇艺世纪科技有限公司 服务监控方法和设备、服务监控装置及介质
CN110855477A (zh) * 2019-10-29 2020-02-28 浙江大搜车软件技术有限公司 链路日志监控方法、装置、计算机设备和存储介质
CN111078447A (zh) * 2019-11-24 2020-04-28 杭州安恒信息技术股份有限公司 一种微服务架构中的异常定位方法、装置、设备、介质
CN112422344A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 日志异常的告警方法、装置、存储介质及电子装置
CN112506894A (zh) * 2020-12-02 2021-03-16 平安医疗健康管理股份有限公司 基于链路追踪的服务链日志处理方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱政科: "《Prometheus云原生监控 运维与开发实战》", 30 November 2020, 北京：机械工业出版社, pages: 145 - 146 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301760A (zh) * 2021-12-17 2022-04-08 北京达佳互联信息技术有限公司 一种测试方法、装置、电子设备及存储介质
CN114564349A (zh) * 2022-01-28 2022-05-31 苏州浪潮智能科技有限公司 一种服务器的监控方法、装置、电子设备及存储介质
CN114564349B (zh) * 2022-01-28 2024-06-25 苏州浪潮智能科技有限公司 一种服务器的监控方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US8850263B1 (en) Streaming and sampling in real-time log analysis
JP6823265B2 (ja) 分析装置、分析システム、分析方法および分析プログラム
WO2017113677A1 (zh) 处理用户行为数据的方法和系统
Jayathilake Towards structured log analysis
CN111274094B (zh) 接口预警方法、系统、设备及存储介质
CN111159514B (zh) 网络爬虫的任务有效性检测方法、装置和设备及存储介质
CN113656247A (zh) 一种服务监控方法、装置、电子设备及可读存储介质
CN112163728B (zh) 一种能耗数据处理方法、装置、电子设备及存储介质
CN113746703B (zh) 一种异常链路监控方法、系统和装置
CN108156141B (zh) 一种实时数据识别方法、装置及电子设备
CN109995555B (zh) 监控方法、装置、设备及介质
CN112152823B (zh) 网站运行错误监控方法、装置及计算机存储介质
CN112054915B (zh) 客户端异常预警的处理方法、装置、系统及计算设备
CN112148733A (zh) 确定故障类型的方法、装置、电子装置和计算机可读介质
CN114356733B (zh) 一种数据埋点的配置方法、存储介质及设备
CN112035415A (zh) 针对用户访问数据的处理系统、方法、设备及存储介质
CN112256548B (zh) 异常数据的监听方法、装置、服务器及存储介质
TWI757169B (zh) 用於實時分析虛擬伺服器記錄的電腦實施系統以及方法
CN112954372B (zh) 流媒体故障监测方法及装置
CN112130944A (zh) 页面异常的检测方法、装置、设备及存储介质
CN113010494A (zh) 一种数据库审计方法、装置及数据库代理服务器
CN110309028B (zh) 监控信息获取方法、服务监控方法、装置及系统
CN110011845B (zh) 日志采集方法及系统
CN115643200A (zh) 一种异常检测方法、装置、电子设备及介质
CN111784176A (zh) 一种数据处理方法、装置、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination