CN116204385A - 一种计算机日志监控方法及系统 - Google Patents

一种计算机日志监控方法及系统 Download PDF

Info

Publication number
CN116204385A
CN116204385A CN202310406149.9A CN202310406149A CN116204385A CN 116204385 A CN116204385 A CN 116204385A CN 202310406149 A CN202310406149 A CN 202310406149A CN 116204385 A CN116204385 A CN 116204385A
Authority
CN
China
Prior art keywords
early warning
log
log file
monitoring
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310406149.9A
Other languages
English (en)
Inventor
陈华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Environmental Engineering Vocational College
Original Assignee
Jiangxi Environmental Engineering Vocational College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Environmental Engineering Vocational College filed Critical Jiangxi Environmental Engineering Vocational College
Priority to CN202310406149.9A priority Critical patent/CN116204385A/zh
Publication of CN116204385A publication Critical patent/CN116204385A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种计算机日志监控方法及系统，涉及日志监控系统技术领域，所述监控方法包括以下步骤：获取需要监控的日志文件类型，在获取不同类型的日志文件后，通过采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中。本发明在日志文件获取后，通过预警系数与预警阈值的对比结果选择日志文件的管理方式，一是保证日志文件获取的完整性，二是无需对所有日志文件均进行备份处理，从而降低监控系统的运行成本。

Description

一种计算机日志监控方法及系统
技术领域
本发明涉及日志监控系统技术领域，具体涉及一种计算机日志监控方法及系统。
背景技术
计算机日志监控系统是一种用于管理、收集、分析和查询应用程序生成的日志数据的系统，日志系统是现代软件开发和运维中必不可少的一部分，它可以帮助开发人员和运维人员快速诊断和解决问题，提高系统的可靠性和稳定性，计算机日志监控系统是现代软件开发和运维中必不可少的一部分，它可以帮助开发人员和运维人员快速诊断计算机日志。
现有技术存在以下不足：
现有计算机日志监控系统在监控过程中，为了保证监控日志的完整性，监控系统通常是每采集一份日志文件后，除了将日志文件上传至云平台，还会将日志文件备份至计算机的本地存储器中，对于企业而言，计算机程序的开发以及运维会产生大量的日志文件，若每份日志文件在上传云平台的同时均备份到本地存储器中，一是增加监控系统的数据处理量，降低数据处理效率，二是需要更大容量的存储器，从而增加日志监控系统的运行成本。
发明内容
本发明的目的是提供一种计算机日志监控方法及系统，以解决背景技术中不足。
为了实现上述目的，本发明提供如下技术方案：一种计算机日志监控方法，所述监控方法包括以下步骤：
S1：获取需要监控的日志文件类型；
S2：采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数；
S3：将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式；
S4：日志文件上传至云平台后，启动日志监控工具，实时监控日志文件中的内容；
S5：当监控工具发现日志文件存在异常情况时，作出相应处理；
S6：定期分析日志文件，了解计算机软件运行情况，并优化计算机软件性能。
在一个优选的实施方式中，所述日志文件类型包括操作系统日志、应用程序日志，所述管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中，所述日志监控工具包括Logwatch、Logrotate、Syslog-ng，所述相应处理包括发送警报、记录异常信息、排查问题。
在一个优选的实施方式中，步骤S2中，建立预警系数包括以下步骤：
采集端采集多源参数包括网速跳动幅值、电压波动值、上传软件漏洞监测率、网络带宽，将多源参数通过公式建立预警系数，表达式为：
Figure BDA0004181461310000021
式中，yjs为预警系数，dkw为网络带宽，tdw为网速跳动幅值，bdz为电压波动值，ldi为上传软件漏洞监测率，α、β、γ、δ分别为网络带宽、网速跳动幅值、电压波动值、上传软件漏洞监测率，且α>β>δ>γ>0。
在一个优选的实施方式中，所述网速跳动幅值tdw的获取逻辑为：在日志文件传输过程中，设定日志文件稳定传输的最低网速阈值为wsy，实时监测的网速为wsx，当实时监测的网速wsx<日志文件稳定传输的最低网速阈值为wsy，通过公式：tdw＝wsx-wsy；计算得到网速跳动幅值tdw，若实时监测的网速wsx≥日志文件稳定传输的最低网速阈值为wsy，则网速跳动幅值tdw＝0。
在一个优选的实施方式中，所述电压波动值bdz的获取逻辑为：计算机稳定运行电压范围标记为dymin～dymax，将计算机实时监测的电压标记为dysj，当dysj>dymax时，电压波动值bdz＝|dysj-dymax|；当dysj<dymin时，电压波动值bdz＝|dysj-dymin|。
在一个优选的实施方式中，所述上传软件漏洞监测率ldi获取逻辑为：安全软件在一段时间内监测到上传软件漏洞所有次数标记为ldc，则计算表达式为：ldi＝ldc/T；式中，T为监测完成时间段，所述网络带宽dkw通过网络监控工具实时监测。
在一个优选的实施方式中，步骤S3中，根据对比结果生成日志文件的管理方式包括以下步骤：
S3.1：若预警系数yjs≥预警阈值yjy，系统预测日志文件传输环境稳定，生成的管理方式为将日志文件上传云平台；
S3.2：若预警系数yjs<预警阈值yjy，系统预测日志文件传输环境不稳定，生成的管理方式为将日志文件上传云平台以及备份至本地存储器中，并发出预警信号。
在一个优选的实施方式中，将服务器所有计算机上传日志文件任务中，预警系数yjs<预警阈值yjy的预警系数yjs建立预警系数集合；
计算预警系数集合内预警系数平均值
Figure BDA0004181461310000031
与离散系数JQ，平均值/>
Figure BDA0004181461310000032
等于所有预警系数求和后再除去预警系数数量获取；
Figure BDA0004181461310000033
式中i＝{1、2、3、...、n}，n表示预警系数集合内预警系数yjs的数量，n为正整数，Ji表示预警系数集合内不同的预警系数yjs，
Figure BDA0004181461310000034
表示预警系数集合内所有预警系数yjs的平均值。
在一个优选的实施方式中，若平均值
Figure BDA0004181461310000035
小于预警系数yjs，且离散系数JQ小于离散系数JQ阈值，则预测日志文件传输环境不稳定发展，且发展速度快；
若平均值
Figure BDA0004181461310000036
小于预警系数yjs，且离散系数JQ大于离散系数JQ阈值，则预测日志文件传输环境不稳定发展，发展速度中；/>
若平均值
Figure BDA0004181461310000041
大于等于预警系数yjs，则预测日志文件传输环境稳定发展。
本发明还提供一种计算机日志监控系统，包括文件获取模块、采集模块、管理模块、监控模块、处理模块以及分析模块；
日志获取模块获取需要监控的日志文件类型，并将日志文件类型信息发送至采集模块，采集模块接收日志文件类型信息后，采集多源参数，为不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数发送至管理模块，管理模块将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，并将日志文件发送至监控模块以及分析模块，日志文件上传至云平台后，监控模块实时监控日志文件中的内容，及时发现异常情况，并将异常情况发送至处理模块，当发现日志文件存在异常情况时，处理模块作出相应处理，分析模块定期分析日志文件，了解计算机软件运行情况，并优化计算机软件性能。
在上述技术方案中，本发明提供的技术效果和优点：
1、本发明在获取不同类型的日志文件后，通过采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中，该监控系统在日志文件获取后，通过预警系数与预警阈值的对比结果选择日志文件的管理方式，一是保证日志文件获取的完整性，二是无需对所有日志文件均进行备份处理，从而降低监控系统的运行成本；
2、本发明通过采集多源参数包括网速跳动幅值、电压波动值、上传软件漏洞监测率、网络带宽，将多源参数通过公式建立预警系数，将多源数据综合处理，提高数据的处理效率，并且依据预警系数yjs与预警阈值yjy的对比结果选择管理方式，大大提高了对日志文件的管理效率；
3、本发明在日志文件备份至本地存储器中，且日志文件完全上传云平台后，系统直接将本地存储器中的日志文件删除；若日志文件备份至本地存储器中，且日志文件未完全上传云平台，监控系统断开日志文件的上传，待传输环境稳定后，再将本地存储器中的日志文件上传云平台，保证日志文件的完整性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
图2为本发明的系统模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1所示，本实施例所述一种计算机日志监控方法，所述监控方法包括以下步骤：
获取需要监控的日志文件类型，日志文件类型包括操作系统日志、应用程序日志等，通过采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中，日志文件上传至云平台后，启动日志监控工具，日志监控工具包括Logwatch、Logrotate、Syslog-ng等，实时监控日志文件中的内容，及时发现异常情况，当监控工具发现日志文件存在异常情况时，作出相应处理，相应处理包括发送警报、记录异常信息、排查问题等，定期分析日志文件，了解计算机软件运行情况，并优化计算机软件性能。
本申请在获取不同类型的日志文件后，通过采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中，该监控系统在日志文件获取后，通过预警系数与预警阈值的对比结果选择日志文件的管理方式，一是保证日志文件获取的完整性，二是无需对所有日志文件均进行备份处理，从而降低监控系统的运行成本。
本实施例中，获取需要监控的日志文件类型步骤如下：
确定日志文件的路径：一般来说，日志文件存储在Linux系统的/var/log目录下；
确定日志文件的格式：不同的日志文件可能有不同的格式，需要根据不同的格式进行解析；
确定需要监控的日志内容：可以根据关键字、特殊字符串等方式来确定需要监控的日志内容；
确定需要监控的日志级别：日志级别一般包括DEBUG、INFO、WARN、ERROR、FATAL等不同级别，需要根据不同的级别来设置不同的告警规则。
Logwatch是一个可定制和可插入式的日志监视系统，可以通过遍历给定时间范围内的系统日志文件而产生日志报告，它能对原始的日志文件进行解析并转换成结构化格式的文档，也能根据使用情况和需求来定制报告；
Logwatch主要目的是生成更易于使用的日志摘要，因此，Logwatch通常被设定好时间和频率的自动定时任务来调度运行或者是有需要日志处理的时候从命令行里手动运行，一旦日志报告生成，Logwatch可以通过电子邮件发送报告；
以下是通过Logwatch实时监控日志文件的几个方案举例：
1)使用tail命令：tail命令可以输出文件的末尾内容，使用tail-f命令可以实时输出新添加的内容，例如：tail-f/path/to/log/file；
2)使用less命令：less命令可以在终端中按页显示文件内容，也可以实时监控文件变化，可以使用less+F/path/to/log/file命令来实时监控文件变化；
3)使用watch命令：watch命令可以定期运行一个命令，并将输出显示在终端上，例如：watch-n1"tail/path/to/log/file"；
4)使用inotify-tools：inotify-tools是一个Linux下的文件监控工具集，可以监控文件的变化并作出相应的反应，例如：inotifywait-m/path/to/log/file。
Logrotate是一个Linux系统日志管理工具，可以对单个日志文件或者某个目录下的文件按时间/大小进行切割、压缩操作，并指定日志保存数量，它是基于crontab运行的，可以通过cron计划任务来完成。使用Logrotate实时监控日志文件中的内容需要以下步骤：
在Ubuntu系统中安装Logrotate，创建Logrotate配置文件，在/etc/logrotate.d目录下创建一个新文件，文件名可以是任意的，在该文件中，需要指定要监控的日志文件、日志文件的切割方式和切割周期等参数，运行Logrotate，检查Logrotate运行结果，Logrotate会在运行时输出相关信息，可以根据输出信息检查是否成功切割了日志文件，同时，还可以通过查看日志文件的修改时间来判断是否切割成功。
syslog-ng是一种用于日志收集和处理的软件，可以帮助管理员从多个设备中收集和过滤日志数据，在此过程中，需要完成以下步骤：
确定syslog-ng的安装方式和配置文件的位置，可以从标准仓库安装syslog-ng，也可以从源代码安装，syslog-ng的配置文件通常位于/etc/syslog-ng/syslog-ng.conf，也可以在安装或启动syslog-ng时指定其他位置；
配置syslog-ng以监听UDP端口，并根据syslog.conf配置文件中的配置处理本机，syslog-ng使用UDP端口，需要确保在网络上可以访问，在syslog-ng.conf文件中，需要指定日志消息的来源和目标，以及如何处理日志消息，例如，可以使用source指令指定日志消息的来源，destination指令指定日志消息的目标，以及filter指令指定如何过滤日志消息；
配置syslog-ng以将指定事件写入特定文件中，供后台数据库管理和响应之用，在syslog-ng.conf文件中，可以使用log指令将特定事件写入特定文件中，例如，可以使用system()和internal()选项指定要记录的事件类型，并使用file()选项指定要记录的文件。
本实施例中，日志文件的异常情况包括：
(1)日志文件不存在或路径错误：如果日志文件不存在或路径错误，监控工具将无法读取日志数据，因此无法进行异常检测和报警；
(2)日志文件格式错误：如果日志文件格式错误，例如日志文件中存在无法解析的内容或格式不符合预期，监控工具可能会将这些内容视为异常情况，并在必要时触发报警；
(3)日志文件大小超过限制：如果日志文件的大小超过了监控工具设置的限制，例如超过了预设的最大文件大小，监控工具可能会认为这是异常情况，并触发报警；
(4)日志文件内容异常：如果日志文件中出现了异常内容，例如错误的请求、超时、异常响应等，监控工具可能会将这些内容视为异常情况，并在必要时触发报警。
实施例2
日志文件类型包括操作系统日志、应用程序日志等，通过采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中。
其中：
通过采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数包括以下步骤：
采集端采集多源参数包括网速跳动幅值、电压波动值、上传软件漏洞监测率、网络带宽，将多源参数通过公式建立预警系数，表达式为：
Figure BDA0004181461310000081
式中，yjs为预警系数，dkw为网络带宽，tdw为网速跳动幅值，bdz为电压波动值，ldi为上传软件漏洞监测率，α、β、γ、δ分别为网络带宽、网速跳动幅值、电压波动值、上传软件漏洞监测率，且α>β>δ>γ>0。
网速跳动幅值tdw的获取逻辑为：在日志文件传输过程中，设定日志文件稳定传输的最低网速阈值为wsy，实时监测的网速为wsx，当实时监测的网速wsx<日志文件稳定传输的最低网速阈值为wsy，通过公式：tdw＝wsx-wsy；计算得到网速跳动幅值tdw，若实时监测的网速wsx≥日志文件稳定传输的最低网速阈值为wsy，则网速跳动幅值tdw＝0。
电压波动值bdz的获取逻辑为：计算机稳定运行有一个电压范围，标记为dymin～dymax，若计算机实时监测的电压高于或低于稳定电压范围dymin～dymax时，均会导致数据传输不稳定，因此，将计算机实时监测的电压标记为dysj，当dysj>dymax时，电压波动值bdz＝|dysj-dymax|；当dysj<dymin时，电压波动值bdz＝|dysj-dymin|。
上传软件漏洞监测率ldi获取逻辑为：安全软件在一段时间内监测到上传软件漏洞所有次数标记为ldc，则计算表达式为：ldi＝ldc/T；式中，T为监测完成时间段。
网络带宽dkw通过网络监控工具实时监测，网络监控工具包括PRTG NetworkMonitor、Zabbix、Nagios等，这些工具可以通过多种方式监测网络带宽，包括SNMP、WMI、JMX等协议，以及ping、HTTP、FTP等网络协议。
将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中包括以下步骤：
设定预警阈值yjy，将预警系数yjs与预警阈值yjy进行对比；
若预警系数yjs≥预警阈值yjy，系统预测日志文件传输环境稳定，生成的管理方式为将日志文件上传云平台；
若预警系数yjs<预警阈值yjy，系统预测日志文件传输环境不稳定，生成的管理方式为将日志文件上传云平台以及备份至本地存储器中，并发出预警信号，管理人员收到预警信号后，需要对计算机进行管理，包括网络管理，计算机硬件管理，计算机软件管理以及电路管理等等。
当系统将日志文件上传云平台以及备份至本地存储器中时，由于备份至本地存储器速度快(和磁盘读写速度有关)，日志文件会先被备份至本地存储器中，由于本申请提出的是一种传输环境稳定性预测，那么当预警系数yjs<预警阈值yjy时，日志文件继续传输环境可能稳定也可能不稳定，因此，若日志文件备份至本地存储器中，且日志文件完全上传云平台后，系统直接将本地存储器中的日志文件删除；若日志文件备份至本地存储器中，且日志文件未完全上传云平台，监控系统断开日志文件的上传，待传输环境稳定后，再将本地存储器中的日志文件上传云平台，保证日志文件的完整性。
本申请通过采集多源参数包括网速跳动幅值、电压波动值、上传软件漏洞监测率、网络带宽，将多源参数通过公式建立预警系数，将多源数据综合处理，提高数据的处理效率，并且依据预警系数yjs与预警阈值yjy的对比结果选择管理方式，大大提高了对日志文件的管理效率。
定期分析日志文件，了解计算机软件运行情况，并优化计算机软件性能包括以下步骤：
(1)收集和准备日志文件：收集需要分析的日志文件，并进行备份和归档，这样可以在需要的时候快速回溯和比较；
(2)分析日志文件：通过日志分析工具或脚本，对日志文件进行分析，了解软件运行情况，可以分析软件运行时间、用户请求量、错误率、响应时间等指标，找到潜在的性能问题；
(3)确认性能问题：根据分析结果，确认软件性能问题的来源，可能是代码问题、配置问题、服务器资源问题等；
(4)优化性能问题：根据确认的问题，采取相应的措施进行优化，可能的措施包括代码优化、配置调整、服务器硬件升级等；
(5)测试优化效果：对优化后的软件进行测试，验证优化效果是否达到预期，测试过程中需要模拟各种负载条件，包括高并发、大数据量等；
(6)监控优化效果：在生产环境中监控软件的运行情况，以确保优化效果持续并且稳定，可以通过日志、性能监控工具等方式进行监控。
实施例3
上述实施例2中，当预警系数yjs<预警阈值yjy时，日志文件继续传输环境可能稳定也可能不稳定，为了更好的对这一趋势进行分析，我们提出以下方案：
将服务器所有计算机上传日志文件任务中，预警系数yjs<预警阈值yjy的预警系数yjs建立预警系数集合；
计算预警系数集合内预警系数平均值
Figure BDA0004181461310000111
与离散系数JQ，平均值/>
Figure BDA0004181461310000112
等于所有预警系数求和后再除去预警系数数量获取；
Figure BDA0004181461310000113
式中i＝{1、2、3、...、n}，n表示预警系数集合内预警系数yjs的数量，n为正整数，Ji表示预警系数集合内不同的预警系数yjs，
Figure BDA0004181461310000114
表示预警系数集合内所有预警系数yjs的平均值；
若平均值
Figure BDA0004181461310000115
小于预警系数yjs，且离散系数JQ小于离散系数JQ阈值，则预测日志文件传输环境不稳定发展，且发展速度快；若平均值/>
Figure BDA0004181461310000116
小于预警系数yjs，且离散系数JQ大于离散系数JQ阈值，则预测日志文件传输环境不稳定发展，发展速度中；若平均值/>
Figure BDA0004181461310000117
大于等于预警系数yjs，则预测日志文件传输环境稳定发展。
当预测日志文件传输环境不稳定发展，且发展速度快时，需要管理人员及时进行管理，当预测日志文件传输环境不稳定发展时，发展速度中时，需要进行管理，且为管理人员预留管理时间，当预测日志文件传输环境稳定发展时，则无需管理，通过对预警系数yjs<预警阈值yjy的传输环境进行趋势预测，使得管理更为有效，并避免管理资源浪费。
实施例4
请参阅图2所示，本实施例所述一种计算机日志监控系统，包括文件获取模块、采集模块、管理模块、监控模块、处理模块以及分析模块；
其中：
日志获取模块：用于获取需要监控的日志文件类型，日志文件类型包括操作系统日志、应用程序日志等，并将日志文件类型信息发送至采集模块；
采集模块：接收日志文件类型信息后，采集多源参数，为不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数发送至管理模块；
管理模块：将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中，并将日志文件发送至监控模块以及分析模块；
监控模块：日志文件上传至云平台后，实时监控日志文件中的内容，及时发现异常情况，并将异常情况发送至处理模块；
处理模块：当发现日志文件存在异常情况时，作出相应处理，相应处理包括发送警报、记录异常信息、排查问题等；
分析模块：定期分析日志文件，了解计算机软件运行情况，并优化计算机软件性能。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(randomaccessmemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种计算机日志监控方法，其特征在于：所述监控方法包括以下步骤：
S1：获取需要监控的日志文件类型；
S2：采集端采集多源参数，不同类型的日志文件通过多源参数分别建立预警系数；
S3：将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式；
S4：日志文件上传至云平台后，启动日志监控工具，实时监控日志文件中的内容；
S5：当监控工具发现日志文件存在异常情况时，作出相应处理；
S6：定期分析日志文件，了解计算机软件运行情况，并优化计算机软件性能。
2.根据权利要求1所述的一种计算机日志监控方法，其特征在于：所述日志文件类型包括操作系统日志、应用程序日志，所述管理方式包括日志文件上传云平台或日志文件上传云平台以及备份至本地存储器中，所述日志监控工具包括Logwatch、Logrotate、Syslog-ng，所述相应处理包括发送警报、记录异常信息、排查问题。
3.根据权利要求2所述的一种计算机日志监控方法，其特征在于：步骤S2中，建立预警系数包括以下步骤：
采集端采集多源参数包括网速跳动幅值、电压波动值、上传软件漏洞监测率、网络带宽，将多源参数通过公式建立预警系数，表达式为：
Figure FDA0004181461300000011
式中，yjs为预警系数，dkw为网络带宽，tdw为网速跳动幅值，bdz为电压波动值，ldi为上传软件漏洞监测率，α、β、γ、δ分别为网络带宽、网速跳动幅值、电压波动值、上传软件漏洞监测率，且α>β>δ>γ>0。
4.根据权利要求3所述的一种计算机日志监控方法，其特征在于：所述网速跳动幅值tdw的获取逻辑为：在日志文件传输过程中，设定日志文件稳定传输的最低网速阈值为wsy，实时监测的网速为wsx，当实时监测的网速wsx<日志文件稳定传输的最低网速阈值为wsy，通过公式：tdw＝wsx-wsy；计算得到网速跳动幅值tdw，若实时监测的网速wsx≥日志文件稳定传输的最低网速阈值为wsy，则网速跳动幅值tdw＝0。
5.根据权利要求4所述的一种计算机日志监控方法，其特征在于：所述电压波动值bdz的获取逻辑为：计算机稳定运行电压范围标记为dymin～dymax，将计算机实时监测的电压标记为dysj，当dysj>dymax时，电压波动值bdz＝|dysj-dymax|；当dysj<dymin时，电压波动值bdz＝dysj-dymin|。
6.根据权利要求5所述的一种计算机日志监控方法，其特征在于：所述上传软件漏洞监测率ldi获取逻辑为：安全软件在一段时间内监测到上传软件漏洞所有次数标记为ldc，则计算表达式为：ldi＝ldc/T；式中，T为监测完成时间段，所述网络带宽dkw通过网络监控工具实时监测。
7.根据权利要求6所述的一种计算机日志监控方法，其特征在于：步骤S3中，根据对比结果生成日志文件的管理方式包括以下步骤：
S3.1：若预警系数yjs≥预警阈值yjy，系统预测日志文件传输环境稳定，生成的管理方式为将日志文件上传云平台；
S3.2：若预警系数yjs<预警阈值yjy，系统预测日志文件传输环境不稳定，生成的管理方式为将日志文件上传云平台以及备份至本地存储器中，并发出预警信号。
8.根据权利要求7所述的一种计算机日志监控方法，其特征在于：将服务器所有计算机上传日志文件任务中，预警系数yjs<预警阈值yjy的预警系数yjs建立预警系数集合；
计算预警系数集合内预警系数平均值
Figure FDA0004181461300000021
与离散系数JQ，平均值/>
Figure FDA0004181461300000022
等于所有预警系数求和后再除去预警系数数量获取；
Figure FDA0004181461300000023
式中i＝{1、2、3、...、n}，n表示预警系数集合内预警系数yjs的数量，n为正整数，Ji表示预警系数集合内不同的预警系数yjs，
Figure FDA0004181461300000024
表示预警系数集合内所有预警系数yjs的平均值。
9.根据权利要求8所述的一种计算机日志监控方法，其特征在于：若平均值
Figure FDA0004181461300000031
小于预警系数yjs，且离散系数JQ小于离散系数JQ阈值，则预测日志文件传输环境不稳定发展，且发展速度快；
若平均值
Figure FDA0004181461300000032
小于预警系数yjs，且离散系数JQ大于离散系数JQ阈值，则预测日志文件传输环境不稳定发展，发展速度中；
若平均值
Figure FDA0004181461300000033
大于等于预警系数yjs，则预测日志文件传输环境稳定发展。
10.一种计算机日志监控系统，用于实现权利要求1-9任一项所述的监控方法，其特征在于：包括文件获取模块、采集模块、管理模块、监控模块、处理模块以及分析模块；
日志获取模块获取需要监控的日志文件类型，并将日志文件类型信息发送至采集模块，采集模块接收日志文件类型信息后，采集多源参数，为不同类型的日志文件通过多源参数分别建立预警系数，并将预警系数发送至管理模块，管理模块将预警系数与设定的预警阈值进行对比，根据对比结果生成日志文件的管理方式，并将日志文件发送至监控模块以及分析模块，日志文件上传至云平台后，监控模块实时监控日志文件中的内容，及时发现异常情况，并将异常情况发送至处理模块，当发现日志文件存在异常情况时，处理模块作出相应处理，分析模块定期分析日志文件，了解计算机软件运行情况，并优化计算机软件性能。
CN202310406149.9A 2023-04-17 2023-04-17 一种计算机日志监控方法及系统 Withdrawn CN116204385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310406149.9A CN116204385A (zh) 2023-04-17 2023-04-17 一种计算机日志监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310406149.9A CN116204385A (zh) 2023-04-17 2023-04-17 一种计算机日志监控方法及系统

Publications (1)

Publication Number Publication Date
CN116204385A true CN116204385A (zh) 2023-06-02

Family

ID=86515932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310406149.9A Withdrawn CN116204385A (zh) 2023-04-17 2023-04-17 一种计算机日志监控方法及系统

Country Status (1)

Country Link
CN (1) CN116204385A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582406A (zh) * 2023-07-13 2023-08-11 支付宝(杭州)信息技术有限公司 监控数据的上传方法及装置
CN117556414A (zh) * 2024-01-11 2024-02-13 邯郸鉴晨网络科技有限公司 一种基于云计算的软件管理方法及系统
CN117573494A (zh) * 2023-11-20 2024-02-20 北京铠悦科技有限公司 一种基于人工智能的软件运行数据后台存储管理系统
CN117573494B (zh) * 2023-11-20 2024-05-14 北京铠悦科技有限公司 一种基于人工智能的软件运行数据后台存储管理系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582406A (zh) * 2023-07-13 2023-08-11 支付宝(杭州)信息技术有限公司 监控数据的上传方法及装置
CN116582406B (zh) * 2023-07-13 2023-09-26 支付宝(杭州)信息技术有限公司 监控数据的上传方法及装置
CN117573494A (zh) * 2023-11-20 2024-02-20 北京铠悦科技有限公司 一种基于人工智能的软件运行数据后台存储管理系统
CN117573494B (zh) * 2023-11-20 2024-05-14 北京铠悦科技有限公司 一种基于人工智能的软件运行数据后台存储管理系统
CN117556414A (zh) * 2024-01-11 2024-02-13 邯郸鉴晨网络科技有限公司 一种基于云计算的软件管理方法及系统

Similar Documents

Publication Publication Date Title
EP3346650B1 (en) Network monitoring system, network monitoring method, and program
US11513935B2 (en) System and method for detecting anomalies by discovering sequences in log entries
CN116204385A (zh) 一种计算机日志监控方法及系统
US10735522B1 (en) System and method for operation management and monitoring of bots
US8732530B2 (en) System and method for self-diagnosis and error reporting
JP5736881B2 (ja) ログ収集システム、装置、方法及びプログラム
US11093349B2 (en) System and method for reactive log spooling
US20060200373A1 (en) Facilitating Root Cause Analysis for Abnormal Behavior of Systems in a Networked Environment
US10635557B2 (en) System and method for automated detection of anomalies in the values of configuration item parameters
US20140089477A1 (en) System and method for monitoring storage machines
US10216432B1 (en) Managing backup utilizing rules specifying threshold values of backup configuration parameters and alerts written to a log
CN111522703B (zh) 监控访问请求的方法、设备和计算机程序产品
US10574552B2 (en) Operation of data network
CN108288997A (zh) 一种传输网络光功率自动采集系统
JP2008234351A (ja) 統合運用監視システム及びプログラム
CN105825641A (zh) 一种业务报警方法和装置
CN117056172B (zh) 一种用于系统集成中台的数据集成方法及系统
JP5240709B2 (ja) シンプトンを評価するためのコンピュータ・システム、並びにその方法及びコンピュータ・プログラム
CN117422434A (zh) 一种智慧运维调度平台
CN114500178B (zh) 一种自运维的智慧物联网关
KR20030056301A (ko) 시스템 장애 통합관리방법
CN115766768A (zh) 一种算力网络操作系统中感知中枢设计方法及装置
CN113254313A (zh) 一种监控指标异常检测方法、装置、电子设备及存储介质
CN115687036A (zh) 日志采集方法、装置及日志系统
CN113407415A (zh) 智能终端的日志管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230602

WW01 Invention patent application withdrawn after publication