CN115242623B - 一种日志收集方法、装置、设备及存储介质 - Google Patents
一种日志收集方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115242623B CN115242623B CN202210878600.2A CN202210878600A CN115242623B CN 115242623 B CN115242623 B CN 115242623B CN 202210878600 A CN202210878600 A CN 202210878600A CN 115242623 B CN115242623 B CN 115242623B
- Authority
- CN
- China
- Prior art keywords
- log collection
- task
- log
- state
- node equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004044 response Effects 0.000 claims abstract description 67
- 238000004590 computer program Methods 0.000 claims description 16
- 230000001960 triggered effect Effects 0.000 claims description 15
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000036541 health Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种日志收集方法、装置、设备及存储介质，涉及软件开发技术领域，包括：查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态；基于历史日志收集状态确定各日志收集任务的任务执行时间，并根据节点设备状态确定出与各节点设备对应的设备状态系数；基于任务执行时间和设备状态系数计算出各日志收集任务对应的响应比；根据响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集与调度后日志收集任务关联的节点设备的日志文件。本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新日志收集任务的响应比，从而减少日志收集任务的整体等待时间。
Description
技术领域
本发明涉及软件开发技术领域，特别涉及一种日志收集方法、装置、设备及存储介质。
背景技术
当前，随着电子信息相关技术的发展，社会的信息化程度越来越高。越来越多的信息基础设施被构建起来，如何保障这些设备的正常运行、在设备运行发生故障时对问题进行定位以及如何解决这些问题成为一个重要的问题，所以，在设备的运行过程中，通常会将一些重要的操作写入日志文件中。在这些设备的运维过程中，经常需要获取设备的日志相关信息来进行设备状态的维护、分析设备运行的历史数据、对设备相关问题进行分析。因此在设备运维的过程中，通常需要对设备的日志进行收集、处理。但是，当数据中心规模越来越大，基础设施运维管理平台需要管理的设备越来越多，在平台需要对这些设备进行日志收集时，平台的硬件资源设备是有限的，而且与设备交互进行日志收集时，通常需要消耗较长时间。
因此，如何有效地对日志收集任务进行调度以减少日志收集任务的整体等待时间，是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种日志收集方法、装置、设备及存储介质，能够减少日志收集任务的整体等待时间，从而提高日志收集功能的用户体验。其具体方案如下：
第一方面，本申请公开了一种日志收集方法，包括：
查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态；
基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数；
基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比；
根据所述响应比对各所述日志收集任务进行调度，并根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
可选的，所述查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态，包括：
判断当前是否触发日志收集任务，得到相应的判断结果；
基于所述判断结果确定是否查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
可选的，所述基于所述判断结果确定是否查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态，包括：
如果所述判断结果表明当前已触发所述日志收集任务，则查询与所述日志收集任务关联的各节点设备对应的节点设备状态；
如果所述判断结果表明当前未触发所述日志收集任务，则禁止查询与所述日志收集任务关联的各节点设备对应的节点设备状态。
可选的，所述基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，包括：
当所述节点设备对应的所述历史日志收集状态表明当前为初次对所述节点设备进行日志收集，则将预设的默认收集时间确定为所述日志收集任务的任务执行时间。
可选的，所述基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，包括：
当所述节点设备对应的所述历史日志收集状态表明当前非初次对所述节点设备进行日志收集，则根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间。
可选的，所述根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间，包括：
查询历史收集到的所述节点设备对应的历史日志文件大小以及针对所述节点设备的历史日志收集任务对应的历史任务执行时间；
根据所述历史日志文件大小和所述历史任务执行时间确定所述日志收集任务的任务执行时间。
可选的，所述根据所述响应比对各所述日志收集任务进行调度，包括：
根据所述响应比对与各所述日志收集任务关联的各所述节点设备进行排序以确定各所述日志收集任务的调度顺序，根据所述调度顺序对所述日志收集任务进行调度。
本申请公开了一种日志收集装置，包括：
状态查询模块，用于查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态；
时间确定模块，用于基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数；
响应比确定模块，用于基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比；
任务调度模块，用于根据所述响应比对各所述日志收集任务进行调度；
日志收集模块，用于根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的日志收集方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的日志收集方法的步骤。
可见，本申请提供了一种日志收集方法，包括：查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态；基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数；基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比；根据所述响应比对各所述日志收集任务进行调度，并根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。由此可知，本申请基于查询到的各日志收集任务关联的各节点设备对应的历史日志收集状态确定日志收集任务的任务执行时间，并根据查询到的节点设备状态确定出相应的设备状态系数，从而基于该任务执行时间和设备状态系数计算出日志收集任务对应的响应比，进而根据该响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集各节点设备的日志文件，也就是说，本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新针对节点设备的日志收集任务的响应比，从而减少日志收集任务的整体等待时间，并提高日志收集功能的用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种日志收集方法流程图；
图2为本申请公开的一种具体的日志收集方法流程图；
图3为本申请公开的一种具体的日志收集方法流程图；
图4为本申请公开的一种具体的日志收集方法流程图；
图5为本申请公开的一种具体的日志收集方法流程图；
图6为本申请公开的一种日志收集装置结构示意图；
图7为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前，随着电子信息相关技术的发展，社会的信息化程度越来越高。越来越多的信息基础设施被构建起来，如何保障这些设备的正常运行、在设备运行发生故障时对问题进行定位以及如何解决这些问题成为一个重要的问题，所以，在设备的运行过程中，通常会将一些重要的操作写入日志文件中。在这些设备的运维过程中，经常需要获取设备的日志相关信息来进行设备状态的维护、分析设备运行的历史数据、对设备相关问题进行分析。因此在设备运维的过程中，通常需要对设备的日志进行收集、处理。但是，当数据中心规模越来越大，基础设施运维管理平台需要管理的设备越来越多，在平台需要对这些设备进行日志收集时，平台的硬件资源设备是有限的，而且与设备交互进行日志收集时，通常需要消耗较长时间。为此，本申请提供了一种日志收集方案，能够减少日志收集任务的整体等待时间，从而提高日志收集功能的用户体验。
本发明实施例公开了一种日志收集方法，参见图1所示，该方法包括：
步骤S11：查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
本实施例中，当需要对节点设备进行日志收集时，则查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态，也就是说，当需要多次对多个节点设备进行日志收集时，可以查询当前监控到的与各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。例如，节点设备对应的节点设备状态为在基础设施运维管理平台中定义的状态，上述节点设备状态可以包括：健康、轻微、中度、重度、紧急五个级别的状态，根据该节点设备状态能够反映设备运行的健康状况，当上述基础设施运维管理平台收到节点设备发送的trap告警时，或者当前已满足预先设置的告警条件时，则将节点设备对应的状态更改为与当前实际情况对应的指定状态。其中，上述trap告警包含：健康、轻微、中度、重度、紧急五个级别，并且预先设置的告警条件可以为：设置告警规则，当节点设别的CPU(Central Processing Unit，中央处理器)温度超过60摄氏度时，则将节点设备状态从当前状态变更为中度级别；当设置CPU温度超过80摄氏度时，则将节点设备状态从当前状态变更为重度级别。
需要指出的是，当节点设备状态为健康级别时，节点设备产生的日志较少，当节点设备发生异常，状态由健康级别变更为轻微级别、中度级别、重度级别或紧急级别时，节点设备产生的日志增多，也就是说，系统记录的日志会增多，通常是因为某些部件发生的故障而导致节点设备发生异常。同时，随着故障等级的提升，也就是说节点设备发生了严重故障或者多个部件发生的故障，从而产生更多的日志信息，这就使得节点设备状态和日志有较强的关联性。
步骤S12：基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数。
本实施例中，查询出各日志收集任务关联的各节点设备对应的历史日志收集状态之后，基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间。可以理解的是，在确定各日志收集任务的任务执行时间时，需要基于各节点设备的历史日志收集状态确定，也就是说，不同的历史日志收集状态对应着不同的任务执行时间的确定方式。
本实施例中，查询出各日志收集任务关联的各节点设备对应的节点设备状态时，还需要根据该节点设备状态确定出各所述节点设备对应的设备状态系数。预先根据节点设备对应的节点设备状态设置与该节点设备状态对应的设备状态系数，然后当需要对节点设备进行日志收集时，则可以通过查询的方式，根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数。例如，节点设备状态与设备状态系数的对应关系可以为：当所述节点设备状态为健康级别时，与该健康级别对应的设备状态系数可以为1.0，即α＝1.0，当所述节点设备状态为轻微级别时，与该轻微级别对应的设备状态系数可以为1.2，即α＝1.2，当所述节点设备状态为中度级别时，与该中度级别对应的设备状态系数可以为1.4，即α＝1.4；当所述节点设备状态为重度级别时，与该重度级别对应的设备状态系数可以为1.7，即α＝1.7；当所述节点设备状态为紧急级别时，与该紧急级别对应的设备状态系数可以为2.0，即α＝2.0；其中，α表示设备状态系数。
步骤S13：基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比。
本实施例中，基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数之后，就能够基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比，也就是说，根据确定出的设备状态系数和任务执行时间计算日志收集任务对应的响应比，响应比的计算方式可以为：
te＝αβ；
γ＝(tw+te)/te；
其中，tw表示任务等待时间，α表示设备状态系数；β表示任务执行时间；te表示根据设备状态维护装置和日志文件收集任务预估装置计算的收集的日志文件任务时间；γ表示当前任务根据预估时间计算出来的响应比。
步骤S14：根据所述响应比对各所述日志收集任务进行调度，并根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
本实施例中，基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比之后，根据该响应比对各所述日志收集任务进行调度，从而动态调整日志收集任务的优先级，也即动态地收集各节点设备的日志文件。
需要指出的是，当节点设备多次执行日志收集任务时或者节点设备由健康状态变更为非健康状态时，会积累节点设备的历史数据，并且当需要对多个节点设备执行日志收集任务时，能够根据响应比兼顾短耗时任务的快速收集和长耗时任务在长等待时间下不被阻塞，也即缩短了大批量日志收集任务执行的等待时间，有效地提高了日志收集功能的用户体验。其中，HRRN(Highest Response Ratio Next，即高响应比优先调度算法)是一种对CPU中央控制器响应比的分配的一种算法，是介于FCFS((First Come First Service，先来先服务)算法与SJF(Shortest Job First，短作业优先算法)之间的折中算法，既考虑作业等待时间又考虑作业运行时间，既照顾短作业又不使长作业等待时间过长，改进了调度性能。
可见，本申请实施例基于查询到的各日志收集任务关联的各节点设备对应的历史日志收集状态确定日志收集任务的任务执行时间，并根据查询到的节点设备状态确定出相应的设备状态系数，从而基于该任务执行时间和设备状态系数计算出日志收集任务对应的响应比，进而根据该响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集各节点设备的日志文件，也就是说，本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新针对节点设备的日志收集任务的响应比，从而减少日志收集任务的整体等待时间，并提高日志收集功能的用户体验。
参见图2所示，本发明实施例公开了一种具体的日志收集方法，相较于上一实施例，本实施例对技术方案作了进一步的说明和优化。
步骤S21：判断当前是否触发日志收集任务，得到相应的判断结果。
本实施例中，判断当前是否触发日志收集任务，得到相应的判断结果。
步骤S22：基于所述判断结果确定是否查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
本实施例中，判断当前是否触发日志收集任务，根据该判断结果确定是否查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态，可以理解的是，如果所述判断结果表明当前已触发所述日志收集任务，则查询与所述日志收集任务关联的各节点设备对应的节点设备状态；如果所述判断结果表明当前未触发所述日志收集任务，则禁止查询与所述日志收集任务关联的各节点设备对应的节点设备状态。
步骤S23：基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数。
步骤S24：基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比。
步骤S25：根据所述响应比对各所述日志收集任务进行调度，并根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
关于上述步骤S23至步骤S25的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例在当前触发日志收集任务时查询各日志收集任务关联的各节点设备对应的历史日志收集状态和节点设备状态，然后根据查询到的历史日志收集状态确定日志收集任务的任务执行时间，并根据查询到的节点设备状态确定出相应的设备状态系数，从而基于该任务执行时间和设备状态系数计算出日志收集任务对应的响应比，进而根据该响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集各节点设备的日志文件，也就是说，本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新针对节点设备的日志收集任务的响应比，从而减少日志收集任务的整体等待时间，并提高日志收集功能的用户体验。
参见图3所示，本发明实施例公开了一种具体的日志收集方法，相较于上一实施例，本实施例对技术方案作了进一步的说明和优化。
步骤S31：查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
步骤S32：当所述节点设备对应的所述历史日志收集状态表明当前为初次对所述节点设备进行日志收集，则将预设的默认收集时间确定为所述日志收集任务的任务执行时间。
本实施例中，查询出各日志收集任务中关联的各节点设备对应的历史日志收集状态，然后基于该日志收集状态确定出各所述日志收集任务的任务执行时间，也就是说，基于该日志收集状态确定出日志收集任务收集节点设备的日志文件的收集时间。当所述节点设备对应的所述历史日志收集状态表明当前为初次对所述节点设备进行日志收集，则将预设的默认收集时间确定为所述日志收集任务的任务执行时间。例如，如果当前为初次收集该节点设备的日志文件，则使用日志收集任务的默认收集时间作为收集当前节点设备的日志文件的收集时间，也即针对当前节点设备的日志收集任务的任务执行时间为日志收集文物的默认收集时间，该默认收集时间可以设置为500秒。
步骤S33：根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数。
步骤S34：基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比。
步骤S35：根据所述响应比对各所述日志收集任务进行调度，并根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
关于上述步骤S31以及上述步骤S33至步骤S35的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例中当查询到的各日志收集任务关联的各节点设备对应的历史日志收集状态表明当前为初次对所述节点设备进行日志收集，则将预设的默认收集时间确定为所述日志收集任务的任务执行时间，并根据查询到的节点设备状态确定出相应的设备状态系数，从而基于该任务执行时间和设备状态系数计算出日志收集任务对应的响应比，进而根据该响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集各节点设备的日志文件，也就是说，本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新针对节点设备的日志收集任务的响应比，从而减少日志收集任务的整体等待时间，并提高日志收集功能的用户体验。
参见图4所示，本发明实施例公开了一种具体的日志收集方法，相较于上一实施例，本实施例对技术方案作了进一步的说明和优化。
步骤S41：查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
步骤S42：当所述节点设备对应的所述历史日志收集状态表明当前非初次对所述节点设备进行日志收集，则根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间。
本实施例中，当查询出的各日志收集任务中关联的各节点设备对应的历史日志收集状态表明当前非初次对所述节点设备进行日志收集，则根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间。可以理解的是，如果当前并非为初次收集该节点设备的日志文件，则查询历史收集到的所述节点设备对应的历史日志文件大小以及针对所述节点设备的历史日志收集任务对应的历史任务执行时间；然后根据所述历史日志文件大小和所述历史任务执行时间确定所述日志收集任务的任务执行时间。也就是说，根据节点设备的历史收集数据来确定当前收集该节点设备的日志收集任务的任务执行时间。其中，根据历史日志文件大小和历史日志收集任务对应的历史任务执行时间确定当前日志收集任务的任务执行时间的计算公式可以为：
v＝(St1-St2)/(t1-t2)；
β＝(St1+v*(t-t1))/v；
其中β表示当前时刻根据历史收集数据预估的需要收集的日志文件的日志收集任务的任务执行时间，v表示日志收集的速度，St1表示历史记录中t1时刻收集的日志文件大小，St2表示历史记录中t2时刻收集的日志文件大小，t1表示当前时刻前一次记录的时间，t2表示t1时刻前一次记录的时间。
步骤S43：根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数。
步骤S44：基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比。
步骤S45：根据所述响应比对各所述日志收集任务进行调度，并根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
关于上述步骤S41以及上述步骤S43至步骤S45的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例中当查询到的各日志收集任务关联的各节点设备对应的历史日志收集状态表明当前非初次对所述节点设备进行日志收集，则根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间，并根据查询到的节点设备状态确定出相应的设备状态系数，从而基于该任务执行时间和设备状态系数计算出日志收集任务对应的响应比，进而根据该响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集各节点设备的日志文件，也就是说，本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新针对节点设备的日志收集任务的响应比，从而减少日志收集任务的整体等待时间，并提高日志收集功能的用户体验。
参见图5所示，本发明实施例公开了一种具体的日志收集方法，相较于上一实施例，本实施例对技术方案作了进一步的说明和优化。
步骤S51：查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
步骤S52：基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数。
步骤S53：基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比。
步骤S54：根据所述响应比对与各所述日志收集任务关联的各所述节点设备进行排序以确定各所述日志收集任务的调度顺序，根据所述调度顺序对所述日志收集任务进行调度。
本实施例中，基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比之后，根据该响应比对与各所述日志收集任务关联的各所述节点设备进行排序以确定各所述日志收集任务的调度顺序，根据所述调度顺序对所述日志收集任务进行调度。可以理解的是，根据响应比对节点设备进行队列排序，并将日志收集任务放入预先搭建的日志收集器中，根据节点设备的队列排序顺序依次调用日志收集任务以对节点设备的日志文件进行收集。
步骤S55：根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
关于上述步骤S51至上述步骤S53、步骤S55的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例基于查询到的各日志收集任务关联的各节点设备对应的历史日志收集状态确定日志收集任务的任务执行时间，并根据查询到的节点设备状态确定出相应的设备状态系数，从而基于该任务执行时间和设备状态系数计算出日志收集任务对应的响应比，进而根据该响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集各节点设备的日志文件，也就是说，本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新针对节点设备的日志收集任务的响应比，从而减少日志收集任务的整体等待时间，并提高日志收集功能的用户体验。
相应的，本申请实施例还公开了一种日志收集装置，参见图6所示，该装置包括：
状态查询模块11，用于查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态；
时间确定模块12，用于基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数；
响应比确定模块13，用于基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比；
任务调度模块14，用于根据所述响应比对各所述日志收集任务进行调度；
日志收集模块15，用于根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件。
由上可见，本申请实施例基于查询到的各日志收集任务关联的各节点设备对应的历史日志收集状态确定日志收集任务的任务执行时间，并根据查询到的节点设备状态确定出相应的设备状态系数，从而基于该任务执行时间和设备状态系数计算出日志收集任务对应的响应比，进而根据该响应比对各日志收集任务进行调度，并根据调度后日志收集任务依次收集各节点设备的日志文件，也就是说，本申请日志收集的技术方案能够根据节点设备的历史日志收集状态和节点设备状态动态更新针对节点设备的日志收集任务的响应比，从而减少日志收集任务的整体等待时间，并提高日志收集功能的用户体验。
在一些具体的实施例中，所述状态查询模块11，具体可以包括：
判断单元，用于判断当前是否触发日志收集任务，得到相应的判断结果；
状态查询单元，用于基于所述判断结果确定是否查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
在一些具体的实施例中，所述状态查询单元，具体可以包括：
状态查询子单元，用于当所述判断结果表明当前已触发所述日志收集任务时，则查询与所述日志收集任务关联的各节点设备对应的节点设备状态；
禁止查询子单元，用于当所述判断结果表明当前未触发所述日志收集任务，则禁止查询与所述日志收集任务关联的各节点设备对应的节点设备状态。
在一些具体的实施例中，所述时间确定模块12，具体可以包括：
第一时间确定单元，用于当所述节点设备对应的所述历史日志收集状态表明当前为初次对所述节点设备进行日志收集，则将预设的默认收集时间确定为所述日志收集任务的任务执行时间。
在一些具体的实施例中，所述时间确定模块12，具体可以包括：
第二时间确定单元，用于当所述节点设备对应的所述历史日志收集状态表明当前非初次对所述节点设备进行日志收集，则根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间。
在一些具体的实施例中，所述第二时间确定单元，具体可以包括：
历史收集信息查询单元，用于查询历史收集到的所述节点设备对应的历史日志文件大小以及针对所述节点设备的历史日志收集任务对应的历史任务执行时间；
第三时间确定单元，用于根据所述历史日志文件大小和所述历史任务执行时间确定所述日志收集任务的任务执行时间。
在一些具体的实施例中，所述任务调度模块14，具体可以包括：
任务调度单元，用于根据所述响应比对与各所述日志收集任务关联的各所述节点设备进行排序以确定各所述日志收集任务的调度顺序，根据所述调度顺序对所述日志收集任务进行调度。
进一步的，本申请实施例还提供了一种电子设备。图7是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的日志收集方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的日志收集方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的日志收集方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种日志收集方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种日志收集方法，其特征在于，包括：
查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态；
基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数；
基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比；
根据所述响应比对各所述日志收集任务进行调度，并根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件；
其中，所述响应比的计算公式为：
γ＝(tw+αβ)/αβ；
其中，tw表示预先确定的任务等待时间，α表示设备状态系数，β表示任务执行时间，γ表示响应比。
2.根据权利要求1所述的日志收集方法，其特征在于，所述查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态，包括：
判断当前是否触发日志收集任务，得到相应的判断结果；
基于所述判断结果确定是否查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态。
3.根据权利要求2所述的日志收集方法，其特征在于，所述基于所述判断结果确定是否查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态，包括：
如果所述判断结果表明当前已触发所述日志收集任务，则查询与所述日志收集任务关联的各节点设备对应的节点设备状态；
如果所述判断结果表明当前未触发所述日志收集任务，则禁止查询与所述日志收集任务关联的各节点设备对应的节点设备状态。
4.根据权利要求1所述的日志收集方法，其特征在于，所述基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，包括：
当所述节点设备对应的所述历史日志收集状态表明当前为初次对所述节点设备进行日志收集，则将预设的默认收集时间确定为所述日志收集任务的任务执行时间。
5.根据权利要求1所述的日志收集方法，其特征在于，所述基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，包括：
当所述节点设备对应的所述历史日志收集状态表明当前非初次对所述节点设备进行日志收集，则根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间。
6.根据权利要求5所述的日志收集方法，其特征在于，所述根据查询到的所述节点设备的历史收集信息确定所述日志收集任务的任务执行时间，包括：
查询历史收集到的所述节点设备对应的历史日志文件大小以及针对所述节点设备的历史日志收集任务对应的历史任务执行时间；
根据所述历史日志文件大小和所述历史任务执行时间确定所述日志收集任务的任务执行时间。
7.根据权利要求1至6任一项所述的日志收集方法，其特征在于，所述根据所述响应比对各所述日志收集任务进行调度，包括：
根据所述响应比对与各所述日志收集任务关联的各所述节点设备进行排序以确定各所述日志收集任务的调度顺序，根据所述调度顺序对所述日志收集任务进行调度。
8.一种日志收集装置，其特征在于，包括：
状态查询模块，用于查询各日志收集任务关联的各节点设备对应的节点设备状态和历史日志收集状态；
时间确定模块，用于基于所述历史日志收集状态确定各所述日志收集任务的任务执行时间，并根据所述节点设备状态确定出与各所述节点设备对应的设备状态系数；
响应比确定模块，用于基于所述任务执行时间和所述设备状态系数计算出各所述日志收集任务对应的响应比；
任务调度模块，用于根据所述响应比对各所述日志收集任务进行调度；
日志收集模块，用于根据调度后日志收集任务依次收集与所述调度后日志收集任务关联的所述节点设备的日志文件；
其中，所述响应比的计算公式为：
γ＝(tw+αβ)/αβ；
其中，tw表示预先确定的任务等待时间，α表示设备状态系数，β表示任务执行时间，γ表示响应比。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的日志收集方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的日志收集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210878600.2A CN115242623B (zh) | 2022-07-25 | 2022-07-25 | 一种日志收集方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210878600.2A CN115242623B (zh) | 2022-07-25 | 2022-07-25 | 一种日志收集方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115242623A CN115242623A (zh) | 2022-10-25 |
| CN115242623B true CN115242623B (zh) | 2024-07-02 |
Family
ID=83675993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210878600.2A Active CN115242623B (zh) | 2022-07-25 | 2022-07-25 | 一种日志收集方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115242623B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103812691A (zh) * | 2014-01-14 | 2014-05-21 | 浪潮电子信息产业股份有限公司 | 一种集群负载均衡系统的日志统计系统及方法 |
| CN105718317A (zh) * | 2016-01-15 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种任务调度方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201411912D0 (en) * | 2014-07-03 | 2014-08-20 | Realeyes O | Method of collecting computer user data |
| CN108377268B (zh) * | 2018-02-26 | 2020-12-11 | 深圳微众信用科技股份有限公司 | 一种调整任务优先级的方法与系统 |
| CN110502495A (zh) * | 2019-09-02 | 2019-11-26 | 中国工商银行股份有限公司 | 一种应用服务器的日志收集方法及装置 |
| CN110908885B (zh) * | 2019-11-21 | 2022-08-05 | 苏州浪潮智能科技有限公司 | 一种日志收集方法、装置及相关组件 |
| CN110891087B (zh) * | 2019-11-22 | 2022-10-25 | 深圳市网心科技有限公司 | 一种日志传输方法、装置及电子设备和存储介质 |
| CN114281657A (zh) * | 2020-09-28 | 2022-04-05 | 华为技术有限公司 | 一种系统日志采集方法及装置 |
| CN113656367A (zh) * | 2021-07-29 | 2021-11-16 | 济南浪潮数据技术有限公司 | 一种bmc日志收集方法及系统 |
| CN113872814A (zh) * | 2021-09-29 | 2021-12-31 | 北京金山云网络技术有限公司 | 内容分发网络的信息处理方法、装置和系统 |
| CN114398239B (zh) * | 2022-01-18 | 2024-07-16 | 平安国际智慧城市科技股份有限公司 | 日志监控方法、装置、计算机设备及存储介质 |
-
2022
- 2022-07-25 CN CN202210878600.2A patent/CN115242623B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103812691A (zh) * | 2014-01-14 | 2014-05-21 | 浪潮电子信息产业股份有限公司 | 一种集群负载均衡系统的日志统计系统及方法 |
| CN105718317A (zh) * | 2016-01-15 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种任务调度方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115242623A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107003706B (zh) | 非暂时性计算机可读存储介质和用于管理作业的装置 | |
| US20060245411A1 (en) | Maintaining service reliability in a data center using a service level objective provisioning mechanism | |
| US8843929B1 (en) | Scheduling in computer clusters | |
| EP3932025B1 (en) | Computing resource scheduling method, scheduler, internet of things system, and computer readable medium | |
| US10367719B2 (en) | Optimized consumption of third-party web services in a composite service | |
| CN114218012A (zh) | 用于在集群系统中备份和恢复数据的方法和系统 | |
| US11150999B2 (en) | Method, device, and computer program product for scheduling backup jobs | |
| US20210211493A1 (en) | Method for managing resource state information and system for downloading resource | |
| CN107430526B (zh) | 用于调度数据处理的方法和节点 | |
| US9607275B2 (en) | Method and system for integration of systems management with project and portfolio management | |
| CN115242623B (zh) | 一种日志收集方法、装置、设备及存储介质 | |
| US11243857B2 (en) | Executing test scripts with respect to a server stack | |
| CN116860461B (zh) | K8s集群的资源调度方法、设备及存储介质 | |
| JP5045576B2 (ja) | マルチプロセッサシステム及びプログラム実行方法 | |
| CN110932926B (zh) | 一种容器集群的监控方法、系统及装置 | |
| US20060015593A1 (en) | Three dimensional surface indicating probability of breach of service level | |
| CN113110795B (zh) | 在应用系统中执行作业的方法、设备和计算机程序产品 | |
| CN111815084A (zh) | 客服信息动态调度方法、系统、电子设备及存储介质 | |
| JP2009110195A (ja) | 情報処理装置、システム、情報処理引継ぎ制御方法、及び、プログラム | |
| CN118413536B (zh) | 一种基于边缘计算的资源处理方法及装置 | |
| CN115509458A (zh) | 一种节点信息获取方法、装置、设备及存储介质 | |
| US11520638B1 (en) | Combined active and preinitialized resource management for rapid autoscaling | |
| CN117331662A (zh) | 一种任务调度方法、装置、电子设备及存储介质 | |
| CN118132209A (zh) | 一种适于kubernetes多集群之间水平扩缩容的方法和系统 | |
| CN118193171A (zh) | 一种任务调度方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |