CN112579387A - 业务系统监控方法、装置、存储介质及设备 - Google Patents
业务系统监控方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN112579387A CN112579387A CN201910943323.7A CN201910943323A CN112579387A CN 112579387 A CN112579387 A CN 112579387A CN 201910943323 A CN201910943323 A CN 201910943323A CN 112579387 A CN112579387 A CN 112579387A
- Authority
- CN
- China
- Prior art keywords
- label
- log
- data
- field
- log file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 230000003068 static effect Effects 0.000 claims description 43
- 238000000547 structure data Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开涉及一种业务系统监控方法、装置、存储介质及设备，所述方法包括：在业务系统生成日志数据时，根据日志配置文件确定与所述日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统；将所述日志数据中与所述标签字段对应的数据输出至日志文件；根据所述日志文件对所述业务系统的运行状态进行监控。因此，可以对日志文件进行统一地扩展描述及管理，便于日志文件的维护。另一方面，有效保证监控的实时性和准确性，同时有效避免对日志文件进行解析的工作量，提升用户使用体验。
Description
技术领域
本公开涉及业务系统监控领域，具体地，涉及一种业务系统监控方法、装置、存储介质及设备。
背景技术
随着计算机技术的发展，在减轻任务运行过程中对设备的压力时，需要采用通过多个系统协作的方式执行任务，系统协作的顺序即为任务的执行链路。
现有技术中，在执行链路查询时，需要对日志文件进行解析，从而进行链路查询确定任务的进展。并且在该查询过程中只能够通过固定字段进行查询，不便于对字段的修改和维护。
发明内容
本公开的目的是提供一种便捷、高效率的业务系统监控方法、装置、存储介质及设备。
为了实现上述目的，根据本公开的第一方面，提供一种业务系统监控方法，所述方法包括：
在业务系统生成日志数据时，根据日志配置文件确定与所述日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统；
将所述日志数据中与所述标签字段对应的数据输出至日志文件；
根据所述日志文件对所述业务系统的运行状态进行监控。
可选地，所述标签字段还包括维度标签，所述维度标签用于对所述日志数据中的内容数据进行标识，所述将所述日志数据中与所述标签字段对应的数据输出至日志文件，包括：
确定所述标签字段中的标签的标签类型，其中，所述标签类型包括静态标签和动态标签，所述任务实例标签的标签类型为动态标签，所述业务系统标签的标签类型为静态标签；
针对静态标签，将所述静态标签确定为所述静态标签的标签信息，并将所述静态标签的标签信息输出至所述日志文件；
针对动态标签，从所述日志数据中获取与所述动态标签对应的标签数据；
将所述动态标签与所述标签数据进行拼接后所得数据确定为所述动态标签的标签信息，并将所述动态标签的标签信息输出至所述日志文件。
可选地，所述配置字段还包括结构字段和内容字段，所述结构字段用于表示所述日志数据的结构信息，所述内容字段用于存储所述日志数据的内容数据；
所述方法还包括：
针对所述结构字段，根据业务系统信息和所述日志数据确定与所述结构字段对应的结构数据；
针对所述内容字段，根据所述日志数据确定与所述内容字段对应的内容数据；
将所述结构数据和所述内容数据输出至所述日志文件。
可选地，所述将所述结构数据和所述内容数据输出至所述日志文件，包括：
根据所述日志配置文件对所述结构数据进行数据转换；
将进行数据转换后所得的数据和所述内容数据输出至所述日志文件。
可选地，所述方法还包括：
在根据所述日志文件确定所述业务系统运行异常时，输出提示信息，所述提示信息用于指示所述业务系统运行异常。
可选地，所述方法还包括：
存储所述日志文件至日志系统；
响应于报表生成指令，确定用于生成报表的第一目标标签以及所述日志系统中的第一目标日志文件，所述第一目标标签为所述标签字段的标签中的一者或多者；
根据所述第一目标日志文件和所述第一目标标签生成与所述报表生成指令对应的报表。
可选地，所述方法还包括：
存储所述日志文件至日志系统；
所述根据所述日志文件对所述业务系统的运行状态进行监控，包括：
根据第二目标标签，从所述日志系统中查询与所述第二目标标签对应的第二目标日志文件，其中，第二目标标签为所述标签字段的标签中的一者或多者；
按照所述第二目标日志文件的生成时间对所述第二目标日志文件进行排序，获取目标日志文件序列；
根据所述目标日志文件序列确定所述业务系统的运行状态。
根据本公开的第二方面，提供一种业务系统监控装置，所述装置包括：
第一确定模块，用于在业务系统生成日志数据时，根据日志配置文件确定与所述日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统；
第一输出模块，用于将所述日志数据中与所述标签字段对应的数据输出至日志文件；
监控模块，用于根据所述日志文件对所述业务系统的运行状态进行监控。
可选地，所述标签字段还包括维度标签，所述维度标签用于对所述日志数据中的内容数据进行标识，所述第一输出模块包括：
第一确定子模块，用于确定所述标签字段中的标签的标签类型，其中，所述标签类型包括静态标签和动态标签，所述任务实例标签的标签类型为动态标签，所述业务系统标签的标签类型为静态标签；
第一输出子模块，用于针对静态标签，将所述静态标签确定为所述静态标签的标签信息，并将所述静态标签的标签信息输出至所述日志文件；
获取子模块，用于针对动态标签，从所述日志数据中获取与所述动态标签对应的标签数据；
第二输出子模块，用于将所述动态标签与所述标签数据进行拼接后所得数据确定为所述动态标签的标签信息，并将所述动态标签的标签信息输出至所述日志文件。
可选地，所述配置字段还包括结构字段和内容字段，所述结构字段用于表示所述日志数据的结构信息，所述内容字段用于存储所述日志数据的内容数据；
所述装置还包括：
第二确定模块，用于针对所述结构字段，根据业务系统信息和所述日志数据确定与所述结构字段对应的结构数据；
第三确定模块，用于针对所述内容字段，根据所述日志数据确定与所述内容字段对应的内容数据；
第二输出模块，用于将所述结构数据和所述内容数据输出至所述日志文件。
可选地，所述第二输出模块包括：
转换子模块，用于根据所述日志配置文件对所述结构数据进行数据转换；
第三输出子模块，用于将进行数据转换后所得的数据和所述内容数据输出至所述日志文件。
可选地，所述装置还包括：
第三输出模块，用于在根据所述日志文件确定所述业务系统运行异常时，输出提示信息，所述提示信息用于指示所述业务系统运行异常。
可选地，所述装置还包括：
存储模块，用于存储所述日志文件至日志系统；
第四确定模块，用于响应于报表生成指令，确定用于生成报表的第一目标标签以及所述日志系统中的第一目标日志文件，所述第一目标标签为所述标签字段的标签中的一者或多者；
生成模块，用于根据所述第一目标日志文件和所述第一目标标签生成与所述报表生成指令对应的报表。
可选地，所述装置还包括：
存储模块，用于存储所述日志文件至日志系统；
所述监控模块包括：
查询子模块，用于根据第二目标标签，从所述日志系统中查询与所述第二目标标签对应的第二目标日志文件，其中，第二目标标签为所述标签字段的标签中的一者或多者；
排序子模块，用于按照所述第二目标日志文件的生成时间对所述第二目标日志文件进行排序，获取目标日志文件序列；
第二确定子模块，用于根据所述目标日志文件序列确定所述业务系统的运行状态。
根据本公开的第三方面，提供一种存储介质，其上存储有程序，该程序被处理器执行时实现第一方面任一所述方法的步骤。
根据本公开的第四方面，提供一种设备，所述设备包括：
至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行第一方面任一所述方法的步骤。
在上述技术方案中，在业务系统生成日志数据时，根据日志配置文件确定与日志数据对应的标签字段，将日志数据中与标签字段对应的数据输出至日志文件，从而可以基于标签字段的标签对日志文件中的数据进行多维度的描述；并根据日志文件对业务系统进行监控。因此，通过上述技术方案，一方面可以对日志文件中的数据进行统一地扩展描述及管理，便于日志文件的维护，并有效降低日志文件结构的修改复杂度。另一方面，可以直接根据日志文件确定业务系统的运行状态，从而对业务系统进行监控，有效保证监控的实时性和准确性，同时有效避免对日志文件进行解析的工作量，提升用户使用体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开的一种实施方式提供的业务系统监控方法的流程图；
图2是根据本公开的一种实施方式提供的业务系统监控装置的框图；
图3是根据本公开的一种实施方式提供的设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1所示，为根据本公开的一种实施方式提供的业务系统监控方法的流程图，如图1所示，所述方法包括：
在S11中，在业务系统生成日志数据时，根据日志配置文件确定与日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统。
其中，该日志配置文件为预先编写的文件，其中指示了标签字段的标签，标签字段中的标签用于对日志数据进行结构化的描述。
在S12中，将日志数据中与标签字段对应的数据输出至日志文件；
标签字段对应的数据即为该标签字段的实际参数数据，如标签字段为任务实例标签时，则该任务实例标签对应的数据可以为该任务实例的ID。
在S13中，根据日志文件对业务系统的运行状态进行监控。
在日志文件中包含任务实例标签和业务系统标签对应的数据，从而可以直接根据该日志文件确定业务系统的运行状态。
以下为一生成的日志文件的示例：
其中，上述示例中，"Tags"对应的字段为标签字段，"taskid_111"为任务实例标签，"rankingapi"为业务系统标签。需要进行说明的是，针对同一任务而言，其对应的任务实例标签在各个业务系统中都是相同的。通过日志文件中的标签则可以确定出业务系统的运行状态。如通过上述日志文件，可以根据任务实例标签确定当前处理的任务实例的ID为111，则可以确定出系统的运行状态为业务系统"rankingapi"运行的任务实例ID为111，从而可以根据日志文件对业务系统的任务执行过程进行监控。并且，也可以基于任务实例标签，确定出与该任务实例标签的对应的各个日志文件，从而根据多个日志文件确定任务实例111的执行链路。
在上述技术方案中，在业务系统生成日志数据时，根据日志配置文件确定与日志数据对应的标签字段，将日志数据中与标签字段对应的数据输出至日志文件，从而可以基于标签字段的标签对日志文件中的数据进行多维度的描述；并根据日志文件对业务系统进行监控。因此，通过上述技术方案，一方面可以对日志文件中的数据进行统一地扩展描述及管理，便于日志文件的维护，并有效降低日志文件结构的修改复杂度。另一方面，可以直接根据日志文件确定业务系统的运行状态，从而对业务系统进行监控，有效保证监控的实时性和准确性，同时有效避免对日志文件进行解析的工作量，提升用户使用体验。
可选地，所述标签字段还包括维度标签，所述维度标签用于对所述日志数据中的内容数据进行标识，其中，维度标签可以通过日志配置文件确定，维度标签可以有一个或多个。
在S12中，将日志数据中与标签字段对应的数据输出至日志文件的一种示例性实现方式如下，可以包括：
确定所述标签字段中的标签的标签类型，其中，所述标签类型包括静态标签和动态标签，所述任务实例标签的标签类型为动态标签，所述业务系统标签的标签类型为静态标签。其中，静态标签可以指示标签名称，在确定静态标签的标签信息时，可以不需要读取日志数据进行确定；动态标签可以指示标签名称和标签数据，在确定静态标签的标签信息时，则其标签数据需要根据日志数据进行动态确定。其中，标签字段的标签对应的标签类型可以在设置该标签时确定。
针对静态标签，将所述静态标签确定为所述静态标签的标签信息，并将所述静态标签的标签信息输出至所述日志文件；
针对动态标签，从所述日志数据中获取与所述动态标签对应的标签数据；
将所述动态标签与所述标签数据进行拼接后所得数据确定为所述动态标签的标签信息，并将所述动态标签的标签信息输出至所述日志文件。
示例地，如上文所示日志文件，确定出的标签字段(Tags)中包括"rankingapi"、"jobid"、"taskid"标签，其中，"rankingapi"为静态标签，"jobid"、"taskid"为动态标签，"jobid"用于标识业务系统中的任务，其中一个任务可以对应有多个任务实例。以下详细描述上述标签的标签信息的确定方式。
在确定"rankingapi"标签的标签信息时，由于该"rankingapi"标签为静态标签，则可以直接将该"rankingapi"作为其对应的标签信息；在确定"jobid"标签的标签信息时，由于该"jobid"为动态标签，此时需要从日志数据中确定"jobid"对应的标签数据，即确定"jobid"对应的实际参数，示例地，实际参数可以为任务ID，如确定出的"jobid"对应的任务ID为406，则可以将"jobid"和"406"进行拼接，从而获得"jobid"对应的标签信息。示例地，可以通过下划线的方式对标签名称和标签数据进行拼接，如"jobid_406"，之后将确定出的标签信息输出至日志文件，如上文所述日志文件示例，"tasked_111"的确定方式类似，在此不再赘述。其中，上述拼接方式为示例性实现方式，本公开对此不进行限定，如可以通过间隔符“·”进行拼接等。
在上述技术方案中，通过确定标签字段的标签的标签类型，从而可以分别确定动态标签和静态标签对应的标签信息，以通过标签字段中的标签对日志文件中的内容数据进行全面且准确的维度描述，为后续基于日志文件的标签字段进行分析提供准确的数据支持。
可选地，可以通过更改日志配置文件以对日志数据对应的标签字段进行更改，例如可以增加新的维度标签。例如，一个任务实例(taskid)可以分片执行，则可以为每个分片设置其对应的分片ID，记为planid，taskid和planid为一对多的关联关系。针对上述情况可以在日志配置文件中的标签字段中增加"planid"标签，且该标签为动态标签。因此，生成日志文件时，可以从日志数据中确定每个分片ID，与"planid"进行拼接后输出至日志文件。
示例地，标签字段可以根据使用场景预先定义，例如，爬虫的应用日志场景下可以定义"bw"、"mediad"等，爬取对象搜索引擎的应用日志场景下可以定义"baidupc"、"qihoopc"等。或者可以根据使用状态对标签字段进行定义，如定义"success"、"running"等，上述标签的具体含义可以在日志配置文件中进行定义说明。以上定义为示例性说明，不用于对本公开进行限定。
由此，通过上述技术方案，可以通过修改日志配置文件对标签字段进行修改，也可以对标签字段进行扩展，增加用于描述日志文件中内容数据的维度标签，既便于对标签字段地灵活管理，又便于日志文件的后续维护，贴合用户的使用需求，进一步提升用户使用体验。
可选地，所述配置字段还包括结构字段和内容字段，所述结构字段用于表示所述日志数据的结构信息，所述内容字段用于存储所述日志数据的内容数据；
示例地，结构字段可以为用于对日志数据进行结构化存储的字段，可以包括业务系统中生成该日志数据的基础信息，如APP的名称信息("App")、路径信息("AppPath")等，还可以包括服务器的名称信息("Server")以及IP地址信息("ServerIp")、生成该日志数据的时间戳信息("CreateTime")以及日志数据的等级信息("Level")等。内容字段则用于表示该日志数据对应的内容信息，例如任务运行的状态为正在运行。
如上文所示日志文件，其中，"App"、"AppPath"、"Server"、"ServerIp"、"CreateTime"、"Level"均为日志数据的结构字段，"Description"为日志数据的内容字段。
所述方法还包括：
针对所述结构字段，根据业务系统信息和所述日志数据确定与所述结构字段对应的结构数据，其中，业务系统信息包括该业务系统的硬件信息和软件信息，如，硬件时钟信息，业务系统中运行的软件名称、路径等。
例如，在确定"App"字段对应的结构数据时，可以通过业务系统信息确定生成该日志数据的App的名称为"Eod.DataCenter.Rangking.WebApi"，则可以将"Eod.DataCenter.Rangking.WebApi"确定为"App"字段对应的结构数据。又例如，在确定"Level"字段对应的结构数据时，可以通过日志数据确定出其对应的结构数据"Info"。其他字段对应的结构数据的确定方式类似，在此不再赘述。
针对所述内容字段，根据所述日志数据确定与所述内容字段对应的内容数据。示例地，在确定"Description"字段对应的内容数据时，可以根据日志数据确定出的内容数据为"任务406开始运行"，其中，在确定出对应的字段后，根据字段确定该字段对应的数据的方式为现有方式，在此不再赘述。
将所述结构数据和内容数据输出至所述日志文件。
作为示例，可以将上述确定出的结构字段以及对应的结构数据、内容字段以及对应的内容数据输出至日志文件，所得日志文件如上文所示。
作为另一示例，所述将所述结构数据和所述内容数据输出至所述日志文件的一种实现方式如下，可以包括：
根据所述日志配置文件对所述结构数据进行数据转换；
将进行数据转换后所得的数据和所述内容数据输出至所述日志文件。
示例地，不同日志文件中结构数据的形式可能不同，例如，时间戳信息可以通过“YYYY-MM-DD hh:mm:ss”进行表示，也可以通过“YYYY/MM/DD hh:mm:ss”的形式表示。因此，可以在日志配置文件中设置字段对应的数据格式，从而可以根据日志配置文件中的数据格式进行数据转换，从而保证输出至日志文件中的数据格式保持一致，保证日志文件的一致性，便于对日志文件的统一管理。其中，数据转换的方式为现有技术，在此不再赘述。
由此，通过上述技术方案，可以对内容字段和结构字段对应的数据输出至日志文件，保证获得的日志文件的结构一致性和日志内容的完整性，为基于日志文件进行后续分析提供准确地数据支持。
可选地，所述方法还包括：
在根据所述日志文件确定所述业务系统运行异常时，输出提示信息，所述提示信息用于指示所述业务系统运行异常。
具体地，可以通过日志文件中的参数值与业务系统对应的参数阈值进行比较，在比较结果满足异常条件时，确定所述业务系统运行异常，并输出提示信息。
示例地，以下为另一日志文件的示例：
如上述示例，根据标签字段和内容字段的信息可知，业务系统rankinglistener预警爬虫bw_crawler爬取任务实例taskid_111的成功率为40％。因此，可以根据该日志文件中的成功率(即，参数值)与预警对应的成功率阈值(即，参数阈值)进行比较。若该成功率小于成功率阈值，则表示该爬虫的爬取操作异常，即业务系统运行异常，此时，可以输出提示信息，以及时通知相应的工作人员，便于及时制定应对措施。
由此，通过上述技术方案，可以直接基于日志文件进行业务系统运行异常的提示与监控，进而有效保证业务系统的安全性，并且保证任务执行的效率。
可选地，所述方法还包括：
存储所述日志文件至日志系统；
响应于报表生成指令，确定用于生成报表的第一目标标签以及所述日志系统中的第一目标日志文件，其中，所述第一目标标签为所述标签字段的标签中的一者或多者。
示例地，该报表生成指令可以是用户通过可视化界面触发，例如，日志文件中的标签字段中的标签可以通过可视化界面显示，用户则可以在可视化界面中选择需要进行报表统计的标签和日志文件，可以将用户选择的(即，报表生成指令指示的)标签确定为第一目标标签，将用户选择的(即，报表生成指令指示的)日志文件确定为第一目标日志文件。
根据所述第一目标日志文件和所述第一目标标签生成与所述报表生成指令对应的报表。
以下为另一日志文件的示例：
在上述示例中，"user_lancode"标签表示“用户名为lancode”，"p_daily"标签表示“使用频率为每天”，"keywordscount"标签表示“关键词总数”。因此，可以将日志文件中的标签字段的各个标签在可视化界面进行显示，用户则可以在可视化界面中选择对应的标签以及日志文件，若用户未选择日志文件，则默认设置第一目标日志文件为日志系统中的全部日志文件。
示例地，用户选择"user_lancode"标签且未选择第一目标日志文件，则可以在日志系统中的全部文件中查询“用户名为lancode”对应的日志文件，并根据查询到的日志文件中的数据生成报表。其中，数据查询和报表生成的方式为现有技术，在此不再赘述。
通过上述技术方案，可以直接根据日志文件中的标签进行数据统计并生成报表，从而有效缩短报表生成所需的时间，提高报表生成效率。并且，可以支持对日志文件的多维度查询，便于运维人员使用。
可选地，所述方法还包括：
存储所述日志文件至日志系统；
在S13中根据日志文件对业务系统的运行状态进行监控的一种示例性实现方式如下，可以包括：
根据第二目标标签，从所述日志系统中查询与所述第二目标标签对应的第二目标日志文件，其中，第二目标标签为所述标签字段的标签中的一者或多者。
按照所述第二目标日志文件的生成时间对所述第二目标日志文件进行排序，获取目标日志文件序列；
根据所述目标日志文件序列确定所述业务系统的运行状态。
在一实施例中，确定业务系统的运行状态可以是确定该业务系统中的任务的执行链路。示例地，该第二目标标签可以是预先指定的标签或者用户输入的查询标签。例如，第二目标标签为任务示例标签，例如"taskid_111"，则可以基于该"taskid_111"从日志系统中查询，将查询到的第二目标日志文件按照其生成时间由早到晚的顺序进行排序。由此，根据目标日志文件序列确定所述业务系统的运行状态可以包括：
根据目标日志文件序列中的业务系统标签对日志文件序列进行去重，即将日志文件序列中连续相同的业务系统标签的第二目标日志文件的业务系统标签进行去重合并，从而将日志文件序列中的业务系统标签的链路确定为任务的执行链路。
如，查询出的目标日志文件序列为：
{L1(S1),L2(S1),L3(S2),L4(S2),L5(S2),L6(S3)}；
其中，L1-L6分别表示目标日志文件序列中的各个日志文件，S1-S3分别为用于表示不同的业务系统的业务系统标签，则可以对业务系统标签进行去重后所得的业务系统标签的链路为S1->S2->S3，则确定出的任务"taskid_111"的执行链路为S1->S2->S3，从而可以直接根据日志文件执行任务的链路查询。
在另一实施例中，确定业务系统的运行状态可以是确定该业务系统的中某一任务对应的任务实例。示例地，第二目标标签可以是任务标签，如"jobid_406"标签，则可以从查询获得的目标日志文件序列中确定对应的任务实例标签，从而将确定出的任务实例标签标识的任务实例确定该业务系统中该任务"jobid_406"对应的任务实例。
在上述技术方案，可以根据日志文件中的标签进行查询，并且可以直接根据查询出的日志文件的生成时间对查询到的日志文件进行排序，从而可以根据日志文件序列确定业务系统的运行状态，通过上述业务系统监控方法可以支持任务的链路查询、任务对应的任务实例等多维度数据查询，提高业务系统监控的效率，并且有效降低业务系统监控的复杂度，便于用户使用。
本公开还提供一种业务系统监控装置，如图2所示，所述装置10包括：
第一确定模块100，用于在业务系统生成日志数据时，根据日志配置文件确定与所述日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统；
第一输出模块200，用于将所述日志数据中与所述标签字段对应的数据输出至日志文件；
监控模块300，用于根据所述日志文件对所述业务系统的运行状态进行监控。
可选地，所述标签字段还包括维度标签，所述维度标签用于对所述日志数据中的内容数据进行标识，所述第一输出模块包括：
第一确定子模块，用于确定所述标签字段中的标签的标签类型，其中，所述标签类型包括静态标签和动态标签，所述任务实例标签的标签类型为动态标签，所述业务系统标签的标签类型为静态标签；
第一输出子模块，用于针对静态标签，将所述静态标签确定为所述静态标签的标签信息，并将所述静态标签的标签信息输出至所述日志文件；
获取子模块，用于针对动态标签，从所述日志数据中获取与所述动态标签对应的标签数据；
第二输出子模块，用于将所述动态标签与所述标签数据进行拼接后所得数据确定为所述动态标签的标签信息，并将所述动态标签的标签信息输出至所述日志文件。
可选地，所述配置字段还包括结构字段和内容字段，所述结构字段用于表示所述日志数据的结构信息，所述内容字段用于存储所述日志数据的内容数据；
所述装置还包括：
第二确定模块，用于针对所述结构字段，根据业务系统信息和所述日志数据确定与所述结构字段对应的结构数据；
第三确定模块，用于针对所述内容字段，根据所述日志数据确定与所述内容字段对应的内容数据；
第二输出模块，用于将所述结构数据和所述内容数据输出至所述日志文件。
可选地，所述第二输出模块包括：
转换子模块，用于根据所述日志配置文件对所述结构数据进行数据转换；
第三输出子模块，用于将进行数据转换后所得的数据和所述内容数据输出至所述日志文件。
可选地，所述装置还包括：
第三输出模块，用于在根据所述日志文件确定所述业务系统运行异常时，输出提示信息，所述提示信息用于指示所述业务系统运行异常。
可选地，所述装置还包括：
存储模块，用于存储所述日志文件至日志系统；
第四确定模块，用于响应于报表生成指令，确定用于生成报表的第一目标标签以及所述日志系统中的第一目标日志文件，所述第一目标标签为所述标签字段的标签中的一者或多者；
生成模块，用于根据所述第一目标日志文件和所述第一目标标签生成与所述报表生成指令对应的报表。
可选地，所述装置还包括：
存储模块，用于存储所述日志文件至日志系统；
所述监控模块包括：
查询子模块，用于根据第二目标标签，从所述日志系统中查询与所述第二目标标签对应的第二目标日志文件，其中，第二目标标签为所述标签字段的标签中的一者或多者；
排序子模块，用于按照所述第二目标日志文件的生成时间对所述第二目标日志文件进行排序，获取目标日志文件序列；
第二确定子模块，用于根据所述目标日志文件序列确定所述业务系统的运行状态。
所述业务系统监控装置包括处理器和存储器，上述第一确定模块、第一输出模块、监控模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来对生成日志文件，以根据该日志文件对业务系统进行监控。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述业务系统监控方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述业务系统监控方法。
本发明实施例提供了一种设备，如图3所示，设备70包括至少一个处理器701、以及与处理器701连接的至少一个存储器702、总线703；其中，处理器701、存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行上述的业务系统监控方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
在业务系统生成日志数据时，根据日志配置文件确定与所述日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统；
将所述日志数据中与所述标签字段对应的数据输出至日志文件；
根据所述日志文件对所述业务系统的运行状态进行监控。
可选地，所述标签字段还包括维度标签，所述维度标签用于对所述日志数据中的内容数据进行标识，所述将所述日志数据中与所述标签字段对应的数据输出至日志文件，包括：
确定所述标签字段中的标签的标签类型，其中，所述标签类型包括静态标签和动态标签，所述任务实例标签的标签类型为动态标签，所述业务系统标签的标签类型为静态标签；
针对静态标签，将所述静态标签确定为所述静态标签的标签信息，并将所述静态标签的标签信息输出至所述日志文件；
针对动态标签，从所述日志数据中获取与所述动态标签对应的标签数据；
将所述动态标签与所述标签数据进行拼接后所得数据确定为所述动态标签的标签信息，并将所述动态标签的标签信息输出至所述日志文件。
可选地，所述配置字段还包括结构字段和内容字段，所述结构字段用于表示所述日志数据的结构信息，所述内容字段用于存储所述日志数据的内容数据；
所述方法还包括：
针对所述结构字段，根据业务系统信息和所述日志数据确定与所述结构字段对应的结构数据；
针对所述内容字段，根据所述日志数据确定与所述内容字段对应的内容数据；
将所述结构数据和所述内容数据输出至所述日志文件。
可选地，所述将所述结构数据和所述内容数据输出至所述日志文件，包括：
根据所述日志配置文件对所述结构数据进行数据转换；
将进行数据转换后所得的数据和所述内容数据输出至所述日志文件。
可选地，所述方法还包括：
在根据所述日志文件确定所述业务系统运行异常时，输出提示信息，所述提示信息用于指示所述业务系统运行异常。
可选地，所述方法还包括：
存储所述日志文件至日志系统；
响应于报表生成指令，确定用于生成报表的第一目标标签以及所述日志系统中的第一目标日志文件，所述第一目标标签为所述标签字段的标签中的一者或多者；
根据所述第一目标日志文件和所述第一目标标签生成与所述报表生成指令对应的报表。
可选地，所述方法还包括：
存储所述日志文件至日志系统；
所述根据所述日志文件对所述业务系统的运行状态进行监控，包括：
根据第二目标标签，从所述日志系统中查询与所述第二目标标签对应的第二目标日志文件，其中，第二目标标签为所述标签字段的标签中的一者或多者；
按照所述第二目标日志文件的生成时间对所述第二目标日志文件进行排序，获取目标日志文件序列；
根据所述目标日志文件序列确定所述业务系统的运行状态。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种业务系统监控方法，其特征在于，所述方法包括：
在业务系统生成日志数据时，根据日志配置文件确定与所述日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统；
将所述日志数据中与所述标签字段对应的数据输出至日志文件；
根据所述日志文件对所述业务系统的运行状态进行监控。
2.根据权利要求1所述的方法，其特征在于，所述标签字段还包括维度标签，所述维度标签用于对所述日志数据中的内容数据进行标识，所述将所述日志数据中与所述标签字段对应的数据输出至日志文件，包括：
确定所述标签字段中的标签的标签类型，其中，所述标签类型包括静态标签和动态标签，所述任务实例标签的标签类型为动态标签，所述业务系统标签的标签类型为静态标签；
针对静态标签，将所述静态标签确定为所述静态标签的标签信息，并将所述静态标签的标签信息输出至所述日志文件；
针对动态标签，从所述日志数据中获取与所述动态标签对应的标签数据；
将所述动态标签与所述标签数据进行拼接后所得数据确定为所述动态标签的标签信息，并将所述动态标签的标签信息输出至所述日志文件。
3.根据权利要求1所述的方法，其特征在于，所述配置字段还包括结构字段和内容字段，所述结构字段用于表示所述日志数据的结构信息，所述内容字段用于存储所述日志数据的内容数据；
所述方法还包括：
针对所述结构字段，根据业务系统信息和所述日志数据确定与所述结构字段对应的结构数据；
针对所述内容字段，根据所述日志数据确定与所述内容字段对应的内容数据；
将所述结构数据和所述内容数据输出至所述日志文件。
4.根据权利要求3所述的方法，其特征在于，所述将所述结构数据和所述内容数据输出至所述日志文件，包括：
根据所述日志配置文件对所述结构数据进行数据转换；
将进行数据转换后所得的数据和所述内容数据输出至所述日志文件。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在根据所述日志文件确定所述业务系统运行异常时，输出提示信息，所述提示信息用于指示所述业务系统运行异常。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
存储所述日志文件至日志系统；
响应于报表生成指令，确定用于生成报表的第一目标标签以及所述日志系统中的第一目标日志文件，所述第一目标标签为所述标签字段的标签中的一者或多者；
根据所述第一目标日志文件和所述第一目标标签生成与所述报表生成指令对应的报表。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
存储所述日志文件至日志系统；
所述根据所述日志文件对所述业务系统的运行状态进行监控，包括：
根据第二目标标签，从所述日志系统中查询与所述第二目标标签对应的第二目标日志文件，其中，第二目标标签为所述标签字段的标签中的一者或多者；
按照所述第二目标日志文件的生成时间对所述第二目标日志文件进行排序，获取目标日志文件序列；
根据所述目标日志文件序列确定所述业务系统的运行状态。
8.一种业务系统监控装置，其特征在于，所述装置包括：
第一确定模块，用于在业务系统生成日志数据时，根据日志配置文件确定与所述日志数据对应的标签字段，其中，所述标签字段包括任务实例标签和业务系统标签，所述任务实例标签用于标识当前处理的任务实例，所述业务系统标签用于标识所述业务系统；
第一输出模块，用于将所述日志数据中与所述标签字段对应的数据输出至日志文件；
监控模块，用于根据所述日志文件对所述业务系统的运行状态进行监控。
9.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种设备，其特征在于，所述设备包括：
至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910943323.7A CN112579387A (zh) | 2019-09-30 | 2019-09-30 | 业务系统监控方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910943323.7A CN112579387A (zh) | 2019-09-30 | 2019-09-30 | 业务系统监控方法、装置、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112579387A true CN112579387A (zh) | 2021-03-30 |
Family
ID=75117265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910943323.7A Pending CN112579387A (zh) | 2019-09-30 | 2019-09-30 | 业务系统监控方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112579387A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113282751A (zh) * | 2021-05-28 | 2021-08-20 | 腾讯科技（深圳）有限公司 | 日志分类方法及装置 |
| CN114661682A (zh) * | 2021-12-24 | 2022-06-24 | 奇安信科技集团股份有限公司 | 日志文件生成方法及装置 |
| CN114741693A (zh) * | 2021-11-18 | 2022-07-12 | 北京珞安科技有限责任公司 | 一种用于安全防护的运维系统和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110083123A1 (en) * | 2009-10-05 | 2011-04-07 | Microsoft Corporation | Automatically localizing root error through log analysis |
| US20120303641A1 (en) * | 2011-05-24 | 2012-11-29 | Verizon Patent And Licensing Inc. | Method and system for processing log information |
| US20150242431A1 (en) * | 2014-02-25 | 2015-08-27 | Ca, Inc. | Computer system log file analysis based on field type identification |
| CN107229619A (zh) * | 2016-03-23 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 互联网业务链路调用情况的统计、展示方法及装置 |
-
2019
- 2019-09-30 CN CN201910943323.7A patent/CN112579387A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110083123A1 (en) * | 2009-10-05 | 2011-04-07 | Microsoft Corporation | Automatically localizing root error through log analysis |
| US20120303641A1 (en) * | 2011-05-24 | 2012-11-29 | Verizon Patent And Licensing Inc. | Method and system for processing log information |
| US20150242431A1 (en) * | 2014-02-25 | 2015-08-27 | Ca, Inc. | Computer system log file analysis based on field type identification |
| CN107229619A (zh) * | 2016-03-23 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 互联网业务链路调用情况的统计、展示方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| KIRAGO: "Prometheus 入门及进阶", pages 3 - 28, Retrieved from the Internet <URL:https:/ /ithere.net/article/147> * |
| KIRAGO: "Prometheus入门及进阶", HTTPS:/ /ITHERE.NET/ARTICLE/147, 16 August 2019 (2019-08-16), pages 3 - 28 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113282751A (zh) * | 2021-05-28 | 2021-08-20 | 腾讯科技（深圳）有限公司 | 日志分类方法及装置 |
| CN113282751B (zh) * | 2021-05-28 | 2023-12-15 | 腾讯科技（深圳）有限公司 | 日志分类方法及装置 |
| CN114741693A (zh) * | 2021-11-18 | 2022-07-12 | 北京珞安科技有限责任公司 | 一种用于安全防护的运维系统和方法 |
| CN114741693B (zh) * | 2021-11-18 | 2022-11-15 | 北京珞安科技有限责任公司 | 一种用于安全防护的运维系统和方法 |
| CN114661682A (zh) * | 2021-12-24 | 2022-06-24 | 奇安信科技集团股份有限公司 | 日志文件生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110661659B (zh) | 一种告警方法、装置、系统及电子设备 | |
| CN107145489B (zh) | 一种基于云平台的客户端应用的信息统计方法和装置 | |
| US11550628B2 (en) | Performing runbook operations for an application based on a runbook definition | |
| CN112579387A (zh) | 业务系统监控方法、装置、存储介质及设备 | |
| CN109960635B (zh) | 实时计算平台的监控和报警方法、系统、设备及存储介质 | |
| CN111124830B (zh) | 一种微服务的监控方法及装置 | |
| CN113596078B (zh) | 业务问题定位方法及装置 | |
| CN105122733A (zh) | 队列监控和可视化 | |
| CN113835918A (zh) | 一种服务器故障分析方法及装置 | |
| CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
| CN112526905B (zh) | 一种针对指标异常的处理方法及系统 | |
| CN108334524B (zh) | 一种storm日志错误分析方法及装置 | |
| WO2016190869A1 (en) | Determining potential test actions | |
| CN110011845B (zh) | 日志采集方法及系统 | |
| CN116860555A (zh) | 软件运行监控方法、装置、设备以及计算机存储介质 | |
| KR20170122874A (ko) | 데이터 분산 서비스 기반의 응용 시스템의 통합 로그 관리 장치 | |
| US20210182453A1 (en) | Application behavior identification | |
| CN112416719B (zh) | 针对数据库容器的监控处理方法、系统、设备和存储介质 | |
| CN115237399A (zh) | 用于采集数据的方法、存储介质、处理器及工程车辆 | |
| CN112596974A (zh) | 一种全链路监控方法、装置、设备和存储介质 | |
| CN109902067B (zh) | 文件处理方法、装置、存储介质及计算机设备 | |
| CN111290870B (zh) | 一种检测异常的方法和装置 | |
| CN110837399A (zh) | 一种管理流式计算应用程序的方法、装置及计算设备 | |
| CN114884807B (zh) | 链路日志生成方法、装置、物联网平台及存储介质 | |
| CN109656776B (zh) | 计算机系统异常监控的完备性巡检方法及其设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |