CN117112355A - 日志文件的监控方法、装置、设备、存储介质及程序产品 - Google Patents
日志文件的监控方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN117112355A CN117112355A CN202311094279.XA CN202311094279A CN117112355A CN 117112355 A CN117112355 A CN 117112355A CN 202311094279 A CN202311094279 A CN 202311094279A CN 117112355 A CN117112355 A CN 117112355A
- Authority
- CN
- China
- Prior art keywords
- service
- log file
- monitoring
- alarm
- service log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 310
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012806 monitoring device Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志文件的监控方法、装置、设备、存储介质及程序产品,应用于信息技术领域。方法包括:获取服务器上待处理的业务日志文件,业务日志文件为目标数据格式的文件,业务日志文件中包含各个业务处理节点的业务数据;根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,监控识别码与文件监控规则对应,文件监控规则用于表征业务日志文件的告警触发条件;根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值;根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。采用本方法能够提高业务系统的故障监控的准确率。
Description
技术领域
本申请涉及信息技术领域,特别是涉及一种日志文件的监控方法、装置、设备、存储介质及程序产品。
背景技术
目前,随着业务的复杂程度的提高,一条业务链路可能涉及到多个业务系统,每个业务系统之间并不互通。当某个业务系统出现故障时,会造成大量的业务请求失败。因此,有必要对业务链路上的各个业务系统进行故障监控。
相关技术中,通常可以通过业务请求的成功率对业务链路上的各个业务系统进行故障监控。具体的,可以收集各个业务系统的数据处理节点生成的业务数据,再通过业务数据确定业务请求的成功率,当成功率低于阈值时触发故障告警信息。
然而,当业务请求经过业务链路调用其它服务时,若其它服务的后端集群发生宕机,对业务请求的成功率的较小,通过成功率进行故障监控会造成故障无法及时被发现。因此,通过业务请求的成功率进行故障监控的准确率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够业务系统的故障监控的准确率的日志文件的监控方法、装置、设备、存储介质及程序产品。
第一方面,本申请提供了一种日志文件的监控方法。应用于服务器,所述方法包括:
获取服务器上待处理的业务日志文件,所述业务日志文件为目标数据格式的文件,所述业务日志文件中包含各个业务处理节点的业务数据;
根据所述目标数据格式对应的信息提取位置,在所述业务日志文件中提取监控识别码,所述监控识别码与文件监控规则对应,所述文件监控规则用于表征所述业务日志文件的告警触发条件;
根据所述监控识别码对应的文件监控规则,确定所述业务日志文件的告警指标值,所述告警指标值为所述告警触发条件对应的告警指标在所述日志文件的业务数据中的取值;
根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果。
在其中一个实施例中,所述根据所述监控识别码对应的文件监控规则,确定所述业务日志文件的告警指标值,包括:
根据所述监控识别码对应的文件监控规则,确定所述业务数据的监控时间段和告警指标的类型;
根据所述告警指标的类型,对所述监控时间段内的业务数据进行检测,确定所述业务日志文件的告警指标值。
在其中一个实施例中,所述根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果,包括:
若所述业务日志文件的告警指标值不在所述告警触发条件对应的指标范围内,则确定所述业务日志文件的第一监控结果,所述第一监控结果用于指示所述业务日志文件异常;
若所述业务日志文件的告警指标值在所述告警触发条件对应的指标范围内,则确定所述业务日志文件的第二监控结果,所述第二监控结果用于指示所述业务日志文件正常。
在其中一个实施例中,在所述根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果,包括:
若所述业务日志文件的监控结果为所述第一监控结果,则触发所述业务日志文件的告警信息。
在其中一个实施例中,所述监控识别码包括业务识别码和错误识别码,所述业务识别码用于指示所述业务日志文件中的业务数据对应的业务类型,所述错误识别码用于指示所述业务日志文件对应的业务处理节点的错误类型。
在其中一个实施例中,在所述根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果之前,所述方法还包括:
若所述监控识别码为所述业务识别码且所述业务识别码指示的业务类型为目标业务类型,则根据所述目标业务类型对应的调整值,调整所述告警触发条件对应的指标范围,所述目标业务类型为可复现的业务数据对应的业务类型。
在其中一个实施例中,在所述根据所述目标数据格式对应的信息提取位置,在所述业务日志文件中提取监控识别码之后,所述方法还包括:
若所述监控识别码为所述错误识别码且所述错误识别码指示的错误类型在预设的告警类型名单中,则确定所述业务日志文件的监控结果为第一监控结果。
在其中一个实施例中,所述告警类型名单中包括数据库连接错误类型和加解密错误类型。
第二方面,本申请提供了一种日志文件的监控装置。所述装置包括:
获取模块,用于获取服务器上待处理的业务日志文件,所述业务日志文件为目标数据格式的文件,所述业务日志文件中包含各个业务处理节点的业务数据;
提取模块,用于根据所述目标数据格式对应的信息提取位置,在所述业务日志文件中提取监控识别码,所述监控识别码与文件监控规则对应,所述文件监控规则用于表征所述业务日志文件的告警触发条件;
检测模块,用于根据所述监控识别码对应的文件监控规则,确定所述业务日志文件的告警指标值,所述告警指标值为所述告警触发条件对应的告警指标在所述日志文件的业务数据中的取值;
确定模块,用于根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果。
在其中一个实施例中,所述检测模块,具体用于根据所述监控识别码对应的文件监控规则,确定所述业务数据的监控时间段和告警指标的类型;根据所述告警指标的类型,对所述监控时间段内的业务数据进行检测,确定所述业务日志文件的告警指标值。
在其中一个实施例中,所述确定模块,具体用于若所述业务日志文件的告警指标值不在所述告警触发条件对应的指标范围内,则确定所述业务日志文件的第一监控结果,所述第一监控结果用于指示所述业务日志文件异常;若所述业务日志文件的告警指标值在所述告警触发条件对应的指标范围内,则确定所述业务日志文件的第二监控结果,所述第二监控结果用于指示所述业务日志文件正常。
在其中一个实施例中,所述确定模块,还用于若所述业务日志文件的监控结果为所述第一监控结果,则触发所述业务日志文件的告警信息。
在其中一个实施例中,所述监控识别码包括业务识别码和错误识别码,所述业务识别码用于指示所述业务日志文件中的业务数据对应的业务类型,所述错误识别码用于指示所述业务日志文件对应的业务处理节点的错误类型。
在其中一个实施例中,所述检测模块,还用于若所述监控识别码为所述业务识别码且所述业务识别码指示的业务类型为目标业务类型,则根据所述目标业务类型对应的调整值,调整所述告警触发条件对应的指标范围,所述目标业务类型为可复现的业务数据对应的业务类型。
在其中一个实施例中,所述确定模块,还用于若所述监控识别码为所述错误识别码且所述错误识别码指示的错误类型在预设的告警类型名单中,则确定所述业务日志文件的监控结果为第一监控结果。
在其中一个实施例中,所述告警类型名单中包括数据库连接错误类型和加解密错误类型。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面的日志文件的监控方法。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的日志文件的监控方法。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面的日志文件的监控方法。
上述日志文件的监控方法、装置、设备、存储介质及程序产品,首先获取服务器上待处理的业务日志文件,该业务日志文件为目标数据格式的文件,该业务日志文件中包含各个业务处理节点的业务数据。其次,根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,该监控识别码与文件监控规则对应,该文件监控规则用于表征业务日志文件的告警触发条件。再次,根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值,告警指标值为告警触发条件对应的告警指标在日志文件的业务数据中的取值。最后,根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。由于通过监控识别码为不同类型的业务日志文件设置不同的文件监控规则,从而可以基于业务日志文件对应的文件监控规则确定告警指标值,再通过告警指标数和告警触发条件对应的指标范围来确定业务日志文件的监控结果,从而提高了业务系统的故障监控的准确率。
附图说明
图1为本申请实施例提供的一种日志文件的监控方法的应用环境图;
图2为本申请实施例提供的一种日志文件的监控方法的流程示意图;
图3为本申请实施例提供的一种多系统进行业务处理的示意图;
图4为本申请实施例提供的另一种日志文件的监控方法的流程示意图;
图5为本申请实施例提供的再一种日志文件的监控方法的流程示意图;
图6为本申请实施例提供的一种日志文件的监控装置的结构框图;
图7为本申请实施例提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的日志文件的监控方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。
服务器104可以首先获取服务器104上待处理的业务日志文件,该业务日志文件为目标数据格式的文件,该业务日志文件中包含各个业务处理节点的业务数据。其次,服务器104根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,再根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值。再次,服务器104根据业务日志文件的告警指标值和指标范围,确定业务日志文件的监控结果。最后,若业务日志文件的监控结果指示业务日志文件异常,则服务器104向终端设备102发送告警信息。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种日志文件的监控方法,以该方法应用于图1中的服务器为例进行说明,包括S201-S204:
S201、获取服务器上待处理的业务日志文件,业务日志文件为目标数据格式的文件,业务日志文件中包含各个业务处理节点的业务数据。
在本申请中,服务器可以实时获取业务日志文件,从而对业务日志文件进行监控,确定业务系统中是否存在故障。
应理解,本申请实施例对于服务器如何获取业务日志文件不做限制,在一些实施例中,业务请求在处理过程中可以经过多个业务系统,各个业务系统设置有业务处理节点,服务器可以采集各个业务处理节点处理每个业务请求所产生的业务数据,并将业务数据进行记录,生成业务日志文件。
示例性的,图3为本申请实施例提供的一种多系统进行业务处理的示意图。如图3所示,业务系统A发起业务请求,并通过网关A发送给业务系统B,业务系统B处理业务请求时,会通过网关B调用业务系统C进行相关的处理操作。业务系统A、业务系统B和业务系统C均设置有业务处理节点,服务器可以采集业务系统A、业务系统B和业务系统C的业务处理节点生成的业务数据,以生成业务日志文件。
在本申请中,为了加快后续日志文件的监控速度,本申请中的业务日志文件在生成过程中,可以采用预设的目标数据格式,从而便于服务器快速提取业务日志文件中的数据。
应理解,本申请实施例对于目标数据格式不做限制,在一些实施例中,目标数据格式为在特定字段中存储标识信息的数据格式。示例性的,目标数据格式的业务日志文件的文件头可以为该特定字段,以存储标识信息,该标识信息可以为监控识别码。
在一些实施例中,服务器可以每隔预设的时间间隔从各个业务处理节点中读取一次业务数据,并将读取到的业务数据进行处理,形成业务日志文件。其中,上述时间间隔可以为1分钟、2分钟、30秒等,本申请实施例对此不做限制。
S202、根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,监控识别码与文件监控规则对应。
在本步骤中,当服务器获取服务器上待处理的业务日志文件后,可以根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码。
应理解,上述信息提取位置可以为目标数据格式的业务日志文件的任何位置,示例性的,可以为业务日志文件的头部,也可以为业务日志文件的尾部。
其中,文件监控规则用于表征业务日志文件的告警触发条件。不同文件监控规则对应的告警触发条件不同。示例性的,文件监控规则可以包括成功率监控规则、成功量监控规则、业务量监控规则、失败率监控规则等。
需要说明的是,本申请实施例涉及的文件监控规则,可以由用户通过配置信息进行添加、修改、更改与监控识别码的对应关系等操作,本申请实施例对此不做限制。
其中,监控识别码包括业务识别码和错误识别码,业务识别码用于指示业务日志文件中的业务数据对应的业务类型,错误识别码用于指示业务日志文件对应的业务处理节点的错误类型。
应理解,不同的监控识别码可以对应不同的文件监控规则,一个监控识别码可以对应一个文件监控规则,也可也对应多个文件监控规则,本申请实施例对此不做限制。
示例性的,业务识别码可以用于指示资源交互业务、查询通知业务、可复现业务等。针对资源交互业务,服务器可以进行重点监控,相应的,指示资源交互业务的业务识别码可以对应成功率监控规则、成功量监控规则。针对查询通知业务,由于一天内产生的查询通知业务较少,指示查询通知业务的业务识别码可以仅对应业务量监控规则,而不与成功率监控规则对应,防止无效告警。
示例性的,错误识别码可以用于指示数据库连接错误、加解密错误、网络超时错误等。示例性的,指示网络超时错误的错误识别码可以对应成功率监控规则和成功量监控规则。
在一些实施例中,针对特定类型的监控识别码,可以直接确定监控结果。若监控识别码为错误识别码且错误识别码指示的错误类型在预设的告警类型名单中,则确定业务日志文件的监控结果为第一监控结果。第一监控结果用于指示业务日志文件异常。
其中,告警类型名单中包括数据库连接错误类型和加解密错误类型。
示例性的,数据库连接错误类型和加解密错误类型均为系统配置类错误,一旦出现系统配置类错误,业务请求会批量报错。因此,当提取到的监控识别码为错误识别码,且错误识别码指示的错误类型在预设的告警类型名单中时,可以立即确定业务日志文件异常,并触发相应的告警信息。
S203、根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值。其中,告警指标值为告警触发条件对应的告警指标在日志文件的业务数据中的取值。
在本步骤中,当服务器根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码后,可以根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值。
其中,告警指标可以根据文件监控规则对应的告警触发条件的不同而不同。
示例性的,文件监控规则可以包括成功率监控规则、成功量监控规则、业务量监控规则、失败率监控规则等。当监控识别码对应的文件监控规则为成功率监控规则时,告警触发条件与成功率相关,则相应的,告警指标为成功率;当监控识别码对应的文件监控规则为成功量监控规则时,告警触发条件与成功量相关,则相应的,告警指标为成功量;当监控识别码对应的文件监控规则为业务量监控规则时,告警触发条件与业务量相关,则相应的,告警指标为业务量;当监控识别码对应的文件监控规则为失败率监控规则时,告警触发条件与失败率相关,则相应的,告警指标为失败率。
应理解,本申请实施例对于如何确定业务日志文件的告警指标值不做限制,在一些实施例中,服务器可以先根据监控识别码对应的文件监控规则,确定业务数据的监控时间段和告警指标的类型。随后,服务器可以根据告警指标的类型,对监控时间段内的业务数据进行检测,确定业务日志文件的告警指标值。
其中,上述监控时间段可以为任一时间单位中的任一时间段,例如,一天中的上午八点至十点、一个月中上旬等。
示例性的,服务器可以筛选监控时间段内的业务数据,再基于监控时间段内的业务数据进行检测,确定出其中与告警指标的类型对应的业务数据。最后,对与告警指标的类型对应的业务数据进行统计,确定业务日志文件的告警指标值。
示例性的,若文件监控规则为业务量交易规则,监控识别码为业务识别码且指示资源交互业务,业务量交易规则设置的监控时间段为上午八点至十点。服务器可以先确定出上午八点至十点内产生的业务数据,再从中确定出资源交互业务的业务数据。最后,基于资源交互业务的业务数据,确定出资源交互业务的业务量。
S204、根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。
在本步骤中,当服务器根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值后,可以根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。
在一些实施例中,若业务日志文件的告警指标值不在告警触发条件对应的指标范围内,则确定业务日志文件的第一监控结果,第一监控结果用于指示业务日志文件异常。
若业务日志文件的告警指标值在告警触发条件对应的指标范围内,则确定业务日志文件的第二监控结果,第二监控结果用于指示业务日志文件正常。
在另一些实施例中,服务器在确定业务日志文件的监控结果之后,若业务日志文件的监控结果为第一监控结果,则触发业务日志文件的告警信息,从而对业务系统进行告警。
其中,上述告警触发条件对应的指标范围,可以通过文件监控规则中的告警触发条件指示确定。若告警指标值为业务量,则告警触发条件可以设置业务量的上下限值作为指标范围。若告警指标值为失败量,则告警触发条件可以设置失败量的最大值,以确定指标范围。若告警指标值为成功率,则告警触发条件可以设置成功率的最小值,以确定指标范围。
示例性的,若告警指标值为业务量,告警触发条件对应的指标范围为50-200,则当服务器确定出监控时间段上午八点至十点间的业务量后,可以确定上午八点至十点间的业务量是否小于50笔,或者是否大于200笔。若上午八点至十点间的业务量小于50笔或大于200笔,则发现异常进行报警。若上午八点至十点间的业务量不小于50笔且不大于200笔,则未发现异常不进行报警。
示例性的,若告警指标值为失败量,告警触发条件对应的指标范围为小于等于5笔,则当服务器确定出监控时间段上午八点至十点间的失败量后,可以确定上午八点至十点间的失败量是否小于等于5笔。若上午八点至十点间的失败量大于5笔,则发现异常进行报警。若上午八点至十点间的失败量小于等于5笔,则未发现异常不进行报警。
示例性的,若告警指标值为成功率,告警触发条件对应的指标范围为大于等于85%,则当服务器确定出监控时间段上午八点至十点间的失败量后,可以确定上午八点至十点间的成功率是否大于等于85%。若上午八点至十点间的成功率小于85%,则发现异常进行报警。若上午八点至十点间的成功率大于等于85%,则未发现异常不进行报警。
在一些实施例中,上述告警触发条件对应的指标范围也可以进行调整。若监控识别码为业务识别码且业务识别码指示的业务类型为目标业务类型,则根据目标业务类型对应的调整值,调整告警触发条件对应的指标范围,目标业务类型为可复现的业务数据对应的业务类型。
示例性的,对于复现的业务数据对应的业务类型,容易因为业务量大、网络抖动或业务高峰期限流等原因,导致业务请求失败和业务超时重发。因此,此类业务对应的指标范围应调低,从而减少无效告警。
需要说明的是,本申请实施例提供的日志文件的监控方法,可以根据实际情况灵活调整监控识别码对应的文件监控规则。若业务量较少,通过成功率监控规则进行的监控容易触发无效监控,此时可以将监控识别码对应的文件监控规则更改为失败量监控规则,从而避免由于成功率失真导致的误报。
相应的,若交易量较多,单一后端宕机也不容易改变成功率,从而导致无法及时告警。此时,可将监控识别码对应的文件监控规则由成功率规则更改为失败量监控规则,从而提高监控准确率。
本申请实施例提供的日志文件的监控方法,首先获取服务器上待处理的业务日志文件,该业务日志文件为目标数据格式的文件,该业务日志文件中包含各个业务处理节点的业务数据。其次,根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,该监控识别码与文件监控规则对应,该文件监控规则用于表征业务日志文件的告警触发条件。再次,根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值,告警指标值为告警触发条件对应的告警指标在日志文件的业务数据中的取值。最后,根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。由于通过监控识别码为不同类型的业务日志文件设置不同的文件监控规则,从而可以基于业务日志文件对应的文件监控规则确定告警指标值,再通过告警指标数和告警触发条件对应的指标范围来确定业务日志文件的监控结果,从而提高了业务系统的故障监控的准确率。
下面对于如何确定业务日志文件的告警指标值进行说明。图4为本申请实施例提供的另一种日志文件的监控方法的流程示意图。如图4所示,该日志文件的监控方法,包括S301-S305:
S301、获取服务器上待处理的业务日志文件,业务日志文件为目标数据格式的文件,业务日志文件中包含各个业务处理节点的业务数据。
S302、根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,监控识别码与文件监控规则对应,文件监控规则用于表征业务日志文件的告警触发条件。
S303、根据监控识别码对应的文件监控规则,确定业务数据的监控时间段和告警指标的类型。
S304、根据告警指标的类型,对监控时间段内的业务数据进行检测,确定业务日志文件的告警指标值,告警指标值为告警触发条件对应的告警指标在日志文件的业务数据中的取值。
S305、根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。
下面对于如何确定业务日志文件的监控结果进行说明。图5为本申请实施例提供的再一种日志文件的监控方法的流程示意图。如图5所示,该日志文件的监控方法,包括S401-S407:
S401、获取服务器上待处理的业务日志文件,业务日志文件为目标数据格式的文件,业务日志文件中包含各个业务处理节点的业务数据。
S402、根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,监控识别码与文件监控规则对应,文件监控规则用于表征业务日志文件的告警触发条件。
S403、确定监控识别码是否为错误识别码且错误识别码指示的错误类型是否在预设的告警类型名单中。
若是,则执行S404,若否,则执行S405。
S404、确定业务日志文件的监控结果为第一监控结果,第一监控结果用于指示业务日志文件异常。
S405、根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值,告警指标值为告警触发条件对应的告警指标在日志文件的业务数据中的取值。
S406、确定业务日志文件的告警指标值是否告警触发条件对应的指标范围内。
若是,则执行S407,若否,则执行S404。
S407、确定业务日志文件的第二监控结果,第二监控结果用于指示业务日志文件正常。
本申请实施例提供的日志文件的监控方法,首先获取服务器上待处理的业务日志文件,该业务日志文件为目标数据格式的文件,该业务日志文件中包含各个业务处理节点的业务数据。其次,根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,该监控识别码与文件监控规则对应,该文件监控规则用于表征业务日志文件的告警触发条件。再次,根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值,告警指标值为告警触发条件对应的告警指标在日志文件的业务数据中的取值。最后,根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。由于通过监控识别码为不同类型的业务日志文件设置不同的文件监控规则,从而可以基于业务日志文件对应的文件监控规则确定告警指标值,再通过告警指标数和告警触发条件对应的指标范围来确定业务日志文件的监控结果,从而提高了业务系统的故障监控的准确率。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的日志文件的监控方法的日志文件的监控装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个日志文件的监控装置实施例中的具体限定可以参见上文中对于日志文件的监控方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种日志文件的监控装置600,包括:获取模块601、提取模块602、检测模块603和确定模块604,其中:
获取模块601,用于获取服务器上待处理的业务日志文件,业务日志文件为目标数据格式的文件,业务日志文件中包含各个业务处理节点的业务数据。
提取模块602,用于根据目标数据格式对应的信息提取位置,在业务日志文件中提取监控识别码,监控识别码与文件监控规则对应,文件监控规则用于表征业务日志文件的告警触发条件。
检测模块603,用于根据监控识别码对应的文件监控规则,确定业务日志文件的告警指标值,告警指标值为告警触发条件对应的告警指标在日志文件的业务数据中的取值。
确定模块604,用于根据业务日志文件的告警指标值和告警触发条件对应的指标范围,确定业务日志文件的监控结果。
在其中一个实施例中,检测模块603,具体用于根据监控识别码对应的文件监控规则,确定业务数据的监控时间段和告警指标的类型;根据告警指标的类型,对监控时间段内的业务数据进行检测,确定业务日志文件的告警指标值。
在其中一个实施例中,确定模块604,具体用于若业务日志文件的告警指标值不在告警触发条件对应的指标范围内,则确定业务日志文件的第一监控结果,第一监控结果用于指示业务日志文件异常;若业务日志文件的告警指标值在告警触发条件对应的指标范围内,则确定业务日志文件的第二监控结果,第二监控结果用于指示业务日志文件正常。
在其中一个实施例中,确定模块604,还用于若业务日志文件的监控结果为第一监控结果,则触发业务日志文件的告警信息。
在其中一个实施例中,监控识别码包括业务识别码和错误识别码,业务识别码用于指示业务日志文件中的业务数据对应的业务类型,错误识别码用于指示业务日志文件对应的业务处理节点的错误类型。
在其中一个实施例中,检测模块603,还用于若监控识别码为业务识别码且业务识别码指示的业务类型为目标业务类型,则根据目标业务类型对应的调整值,调整告警触发条件对应的指标范围,目标业务类型为可复现的业务数据对应的业务类型。
在其中一个实施例中,确定模块604,还用于若监控识别码为错误识别码且错误识别码指示的错误类型在预设的告警类型名单中,则确定业务日志文件的监控结果为第一监控结果。
在其中一个实施例中,告警类型名单中包括数据库连接错误类型和加解密错误类型。
上述日志文件的监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志文件的监控方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述日志文件的监控方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述日志文件的监控方法。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述日志文件的监控方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种日志文件的监控方法,其特征在于,应用于服务器,所述方法包括:
获取所述服务器上待处理的业务日志文件,所述业务日志文件为目标数据格式的文件,所述业务日志文件中包含各个业务处理节点的业务数据;
根据所述目标数据格式对应的信息提取位置,在所述业务日志文件中提取监控识别码,所述监控识别码与文件监控规则对应,所述文件监控规则用于表征所述业务日志文件的告警触发条件;
根据所述监控识别码对应的文件监控规则,确定所述业务日志文件的告警指标值,所述告警指标值为所述告警触发条件对应的告警指标在所述日志文件的业务数据中的取值;
根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述监控识别码对应的文件监控规则,确定所述业务日志文件的告警指标值,包括:
根据所述监控识别码对应的文件监控规则,确定所述业务数据的监控时间段和告警指标的类型;
根据所述告警指标的类型,对所述监控时间段内的业务数据进行检测,确定所述业务日志文件的告警指标值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果,包括:
若所述业务日志文件的告警指标值不在所述告警触发条件对应的指标范围内,则确定所述业务日志文件的第一监控结果,所述第一监控结果用于指示所述业务日志文件异常;
若所述业务日志文件的告警指标值在所述告警触发条件对应的指标范围内,则确定所述业务日志文件的第二监控结果,所述第二监控结果用于指示所述业务日志文件正常。
4.根据权利要求3所述的方法,其特征在于,在所述根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果之后,包括:
若所述业务日志文件的监控结果为所述第一监控结果,则触发所述业务日志文件的告警信息。
5.根据权利要求1所述的方法,其特征在于,所述监控识别码包括业务识别码和错误识别码,所述业务识别码用于指示所述业务日志文件中的业务数据对应的业务类型,所述错误识别码用于指示所述业务日志文件对应的业务处理节点的错误类型。
6.根据权利要求5所述的方法,其特征在于,在所述根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果之前,所述方法还包括:
若所述监控识别码为所述业务识别码且所述业务识别码指示的业务类型为目标业务类型,则根据所述目标业务类型对应的调整值,调整所述告警触发条件对应的指标范围,所述目标业务类型为可复现的业务数据对应的业务类型。
7.根据权利要求5所述的方法,其特征在于,在所述根据所述目标数据格式对应的信息提取位置,在所述业务日志文件中提取监控识别码之后,所述方法还包括:
若所述监控识别码为所述错误识别码且所述错误识别码指示的错误类型在预设的告警类型名单中,则确定所述业务日志文件的监控结果为第一监控结果。
8.根据权利要求7所述的方法,其特征在于,所述告警类型名单中包括数据库连接错误类型和加解密错误类型。
9.一种日志文件的监控装置,其特征在于,所述装置包括:
获取模块,用于获取服务器上待处理的业务日志文件,所述业务日志文件为目标数据格式的文件,所述业务日志文件中包含各个业务处理节点的业务数据;
提取模块,用于根据所述目标数据格式对应的信息提取位置,在所述业务日志文件中提取监控识别码,所述监控识别码与文件监控规则对应,所述文件监控规则用于表征所述业务日志文件的告警触发条件;
检测模块,用于根据所述监控识别码对应的文件监控规则,确定所述业务日志文件的告警指标值,所述告警指标值为所述告警触发条件对应的告警指标在所述日志文件的业务数据中的取值;
确定模块,用于根据所述业务日志文件的告警指标值和所述告警触发条件对应的指标范围,确定所述业务日志文件的监控结果。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311094279.XA CN117112355A (zh) | 2023-08-28 | 2023-08-28 | 日志文件的监控方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311094279.XA CN117112355A (zh) | 2023-08-28 | 2023-08-28 | 日志文件的监控方法、装置、设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117112355A true CN117112355A (zh) | 2023-11-24 |
Family
ID=88796107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311094279.XA Pending CN117112355A (zh) | 2023-08-28 | 2023-08-28 | 日志文件的监控方法、装置、设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117112355A (zh) |
-
2023
- 2023-08-28 CN CN202311094279.XA patent/CN117112355A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110661659B (zh) | 一种告警方法、装置、系统及电子设备 | |
CN106656536B (zh) | 一种用于处理服务调用信息的方法与设备 | |
CN110362455B (zh) | 一种数据处理方法和数据处理装置 | |
CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
CN112866319B (zh) | 日志数据处理方法、系统和存储介质 | |
CN111970168A (zh) | 全链路服务节点的监控方法、装置和存储介质 | |
CN110717130B (zh) | 打点方法、装置、终端及存储介质 | |
CN117112355A (zh) | 日志文件的监控方法、装置、设备、存储介质及程序产品 | |
CN109508356B (zh) | 数据异常预警方法、装置、计算机设备及存储介质 | |
CN113326064A (zh) | 划分业务逻辑模块的方法、电子设备及存储介质 | |
CN115168489B (zh) | 基于区块链的数据存证方法和装置 | |
CN117097599B (zh) | 网络服务检测方法、装置、计算机设备和存储介质 | |
CN115604668B (zh) | 短信发送和推送监控方法、装置、设备及存储介质 | |
CN115118575B (zh) | 一种监控方法、装置、电子设备及存储介质 | |
CN112491589B (zh) | 一种对象存储网络预警方法、系统、终端及存储介质 | |
CN117439913A (zh) | 交易服务监测方法、装置和计算机设备 | |
CN110196862B (zh) | 一种数据场景构造方法、装置、服务器与系统 | |
CN116909785A (zh) | 异常事件的处理方法、装置、设备、存储介质和程序产品 | |
CN116775359A (zh) | 故障业务的告警方法、装置、存储介质及电子装置 | |
CN116800582A (zh) | 异常告警方法、装置、计算机设备和存储介质 | |
CN117376411A (zh) | 信息推送方法、装置、系统、计算机设备和存储介质 | |
CN117112378A (zh) | 页面停留时长统计方法、装置、计算机设备和存储介质 | |
CN116938678A (zh) | 云平台运维方法、装置、计算机设备和存储介质 | |
CN114265739A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN118152459A (zh) | 数据联机报送方法、装置、计算机设备、介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |