CN112751729A - 日志监控方法、装置、介质及电子设备 - Google Patents
日志监控方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN112751729A CN112751729A CN202011612674.9A CN202011612674A CN112751729A CN 112751729 A CN112751729 A CN 112751729A CN 202011612674 A CN202011612674 A CN 202011612674A CN 112751729 A CN112751729 A CN 112751729A
- Authority
- CN
- China
- Prior art keywords
- log
- monitoring
- index information
- analysis probe
- application server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004458 analytical method Methods 0.000 claims abstract description 90
- 239000000523 sample Substances 0.000 claims abstract description 85
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及区块链和软件监控技术领域，揭示了一种日志监控方法、装置、介质及电子设备。该方法由应用服务器执行，包括：在应用服务器部署日志分析探针，应用服务器本地存储着由应用服务器上部署的目标应用生成的日志；启动日志分析探针，以读取和扫描日志并基于日志生成监控指标信息；将监控指标信息推送到发布订阅消息系统，以便订阅监控指标信息的监控方获得监控指标信息。其中，发布订阅消息系统的监控指标信息可存储于区块链中，此方法下，可以不再依赖日志文件的实时上传，节省了日志上传所消耗的带宽资源，还减少了发布订阅消息系统的压力，另外，在不影响应用的前提下，利用应用服务器的空闲资源进行计算，可以实现充分利用服务器资源。
Description
技术领域
本申请涉及区块链和软件监控技术领域，特别涉及一种日志监控方法、装置、介质及电子设备。
背景技术
日志是了解计算机程序的重要途径。日志系统是排查具体问题、了解系统/应用容量、察觉系统瓶颈、实时监控/分析业务数据、提供领导、架构师、开发、运维做出正确决策的真实准确数据的重要基础。
目前，常见的日志采集工具比如有spark和flink，这些工具通过采集完整的日志进行日志监控，还会把日志监控处理得到的监控信息发送至发布订阅消息系统。使用这些工具存在需要日志实时采集工具、发布订阅消息系统压力较大的问题，同时由于需要实时上传大量日志，还存在消耗带宽资源高的问题。
发明内容
在区块链和软件监控技术领域，为了解决上述技术问题，本申请的目的在于提供一种日志监控方法、装置、介质及电子设备。
根据本申请的一方面，提供了一种日志监控方法，所述方法由应用服务器执行，所述方法包括：
在应用服务器部署日志分析探针，所述应用服务器本地存储着由所述应用服务器上部署的目标应用生成的日志；
启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息；
将所述监控指标信息推送到发布订阅消息系统，以便订阅所述监控指标信息的监控方获得所述监控指标信息。
根据本申请的另一方面，提供了一种日志监控装置，所述装置属于应用服务器，所述装置包括：
部署模块，被配置为在应用服务器部署日志分析探针，所述应用服务器本地存储着由所述应用服务器上部署的目标应用生成的日志；
生成模块，被配置为启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息；
推送模块，被配置为将所述监控指标信息推送到发布订阅消息系统，以便订阅所述监控指标信息的监控方获得所述监控指标信息。
根据本申请的另一方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行如前所述的方法。
根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请所提供的日志监控方法由应用服务器执行，包括如下步骤：在应用服务器部署日志分析探针，所述应用服务器本地存储着由所述应用服务器上部署的目标应用生成的日志；启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息；将所述监控指标信息推送到发布订阅消息系统，以便订阅所述监控指标信息的监控方获得所述监控指标信息。此方法下，由于在应用侧直接分析日志得出监控指标信息，可以不再依赖日志文件的实时上传，节省了日志上传所消耗的带宽资源，也降低了带宽成本，还减少了发布订阅消息系统的压力，另外，在不影响应用的前提下，利用所在应用服务器的空闲资源进行计算，可以实现服务器资源的最大利用。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种日志监控方法的系统架构示意图；
图2是根据一示例性实施例示出的一种日志监控方法的流程图；
图3是根据一示例性实施例示出的基于日志生成监控指标信息的过程示意图；
图4是根据一示例性实施例示出的一种实现日志监控方法的系统框图；
图5是根据一示例性实施例示出的一种日志监控装置的框图；
图6是根据一示例性实施例示出的一种实现上述日志监控方法的电子设备示例框图；
图7是根据一示例性实施例示出的一种实现上述日志监控方法的计算机可读存储介质。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
本申请首先提供了一种日志监控方法。日志监控是指通过采集日志的方式对应用程序的运行进行监控以获得应用程序的状态或指标信息的过程。目前的日志采集工具比如有spark和flink等，这些工具均通过在服务端进行日志文件的采集，往往要采集全量的日志文件，因此存在消耗带宽资源高、系统压力大等问题，而本申请提供的日志监控方法则可以克服这些问题。
本申请的实施终端可以是任何具有运算、处理以及存储功能的设备，该设备可以与外部设备相连，用于接收或者发送数据，具体可以是便携移动设备，例如智能手机、平板电脑、笔记本电脑、PDA(Personal Digital Assistant)等，也可以是固定式设备，例如，计算机设备、现场终端、台式电脑、服务器、工作站等，还可以是多个设备的集合，比如云计算的物理基础设施或者服务器集群。
可选地，本申请的实施终端可以为服务器或者云计算的物理基础设施。
图1是根据一示例性实施例示出的一种日志监控方法的系统架构示意图。如图1所示，该系统架构包括应用服务器110、系统服务器120以及用户终端130，应用服务器110与系统服务器120之间、系统服务器120与用户终端130之间均通过通信链路相连，从而可以进行数据的接收和发送。应用服务器110上部署有目标应用，而系统服务器120上部署了发布订阅消息系统，用户终端130上部署有与发布订阅消息系统对应的客户端。当本申请提供的日志监控方法应用于图1所示的系统架构中时，一个具体过程可以是这样的：应用服务器110的目标应用运行过程中持续生成日志并写入和存储至本地。首先，通过安装等方式在应用服务器110上部署日志分析探针；接着，通过启动和运行日志分析探针，从而利用日志分析探针在应用服务器110本地读取和扫描日志，然后利用扫描得到的日志生成监控指标信息；最后，监控指标信息被应用服务器110通过通信链路发送至系统服务器120，使系统服务器120的发布订阅消息系统获得监控指标信息，而订阅了该监控指标信息的客户端所在的用户终端130则会获得来自发布订阅消息系统的该监控指标信息。
值得一提的是，图1仅为本申请的一个实施例。虽然在本实施例中的应用服务器，即本申请的实施终端的物理实体为服务器，但应用服务器仅为可以部署目标应用并向外提供服务的设备，在其他实施例中，应用服务器可以为如前所述的各种终端或设备；虽然在本实施例中，应用服务器、监控者使用的用户终端以及部署了发布订阅消息系统的设备为不同的设备，但在其他实施例或者具体应用中，上述任意两种以上的设备可以为同一设备，本申请对此不作任何限定，本申请的保护范围也不应因此而受到任何限制。
图2是根据一示例性实施例示出的一种日志监控方法的流程图。本实施例提供的日志监控方法由应用服务器执行，具体可以由服务器等设备执行，如图2所示，包括以下步骤：
步骤210，在应用服务器部署日志分析探针。
所述应用服务器本地存储着由所述应用服务器上部署的目标应用生成的日志。
如前所述，应用服务器的物理实体可以为服务器，也可以为各种终端设备。
日志分析探针是一种日志分析的程序、工具或插件，它可以根据日志输出分析结果，并将分析结果作为监控指标。
在一个实施例中，所述应用服务器上预先设置有与所述日志分析探针对应的CPU使用上限参数和/或内存使用上限参数，所述CPU使用上限参数为所述日志分析探针在所述应用服务器运行时CPU占用率的最大值，所述内存使用上限参数为所述日志分析探针在所述应用服务器运行时内存占用率的最大值，所述日志分析探针在所述应用服务器上运行时以对应的所述CPU使用上限参数和/或所述内存使用上限参数为限。
比如，可以在应用服务器上预先设置用于控制应用服务器各程序的CPU使用上限和/或内存使用上限的管理组件，在该管理组件定义和设置了各程序的CPU使用上限参数和/或内存使用上限参数，该管理组件可以根据CPU使用上限参数和/或内存使用上限参数对日志分析探针的CPU使用上限和/或内存使用上限进行限制和管理。该管理组件可以是日志分析探针的一部分，也可以是与日志分析探针相类似的工具或插件。
在本实施例中，通过设置参数对日志分析探针在所述应用服务器运行时的CPU占用率和/或内存占用率进行限制，避免了日志分析探针占用过多资源进而影响应用服务器的正常运行，在不影响应用的前提下，利用所在应用服务器的空闲资源进行计算，可以实现服务器资源的最大利用。
在一个实施例中，所述方法还包括：
每隔第一预定时间段获取所述应用服务器的CPU使用率和/或内存使用率；
根据所述CPU使用率和/或所述内存使用率配置在下一第二预定时间段内所述日志分析探针对应的CPU使用上限参数和/或内存使用上限参数。
比如，第一预定时间段为5分钟，第二预定时间段为5分钟，从12点开始，在当前时刻的CPU使用率和/或内存使用率达到40％时，则可以将12:00～12:05之间对应的CPU使用上限参数和/或内存使用上限参数配置为3％，而在当前时刻的CPU使用率和/或内存使用率小于40％时，可以将12:00～12:05之间对应的CPU使用上限参数和/或内存使用上限参数配置为5％；然后，将于12:05根据在12:05这一时刻的CPU使用率和/或内存使用率配置在12:05～12:10之间对应的CPU使用上限参数和/或内存使用上限参数，以此类推。
在本实施例中，通过根据应用服务器的CPU使用率和/或内存使用率动态调整和配置CPU使用上限参数和/或内存使用上限参数，可以充分利用应用服务器的CPU资源和/或内存资源。
在一个实施例中，所述应用服务器上部署有机器学习模型，所述方法还包括：
利用机器学习模型每隔第五预定时间段根据当前时刻所述应用服务器的CPU使用率和/或内存使用率预测并配置所述日志分析探针在下一第六预定时间段内对应的CPU使用上限参数和/或内存使用上限参数。
比如，可以事先利用日志分析探针的CPU使用率和内存使用率的历史数据对机器学习模型进行训练，训练后的机器学习模型即可对未来一定时间段内日志分析探对CPU和内存的占用情况进行预测。
在本实施例中，通过利用机器学习模型根据应用服务器的CPU使用率和/或内存使用率预测和动态配置CPU使用上限参数和/或内存使用上限参数，由于机器学习模型等人工智能模型可以实现精准预测及配置CPU使用上限参数和/或内存使用上限参数，因此可以进一步充分利用应用服务器的CPU资源和/或内存资源。
步骤220，启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息。
日志分析探针具有读取和扫描日志的功能以及对日志进行统计和分析并生成监控指标信息的功能。比如，日志分析探针可以包括读取模块、扫描模块和生成模块。
监控指标信息是在日志的基础上进行提取、统计或加工而得到的进一步的信息，这些信息可以满足特定的监控需求。比如日志中可以记录了各时刻的目标程序调用的接口地址，而监控指标信息则可以是同一接口地址在一段时间内被调用的次数。
步骤230，将所述监控指标信息推送到发布订阅消息系统，以便订阅所述监控指标信息的监控方获得所述监控指标信息。
需要强调的是，为进一步保证上述发布订阅消息系统中监控指标信息的私密和安全性，上述发布订阅消息系统中的监控指标信息还可以存储于一区块链的节点中，即发布订阅消息系统可以部署在区块链上。
发布订阅消息系统基于发布订阅的消息范式，在软件架构中，发布订阅是一种消息范式，消息的发送者(称为发布者)不会将消息直接发送给特定的接收者(称为订阅者)。而是将发布的消息分为不同的类别，无需了解哪些订阅者(如果有的话)可能存在。同样的，订阅者可以表达对一个或多个类别的兴趣，只接收感兴趣的消息，无需了解哪些发布者(如果有的话)存在。
比如，监控方的终端安装有与发布订阅消息系统对应的客户端，发布订阅消息系统具体包括消息队列，客户端与消息队列的关联关系使得消息队列中的消息被客户端所订阅，将监控指标信息推送到发布订阅消息系统的消息队列中，由于该消息队列中的消息被客户端所订阅，因此，当客户端去发布订阅消息系统获取消息时，即可从该消息队列中拉取到包括监控指标信息在内的消息。
在一个实施例中，所述应用服务器和所述发布订阅消息系统之间还包括采集服务器，所述采集服务器设有日志实时采集工具，在启动所述日志分析探针之前，所述方法还包括：
向用户展示界面以获取来自用户的指令信息，所述指令信息为启动本地分析指令或者启动远程分析指令中的一种，其中所述启动所述日志分析探针是在所述指令信息为启动本地分析指令的情况下进行的。
在本实施例中，允许用户自定义选择是在本地分析日志还是在远程分析日志，使用户有更多选择的可能，保证了用户体验。
在一个实施例中，所述应用服务器和所述发布订阅消息系统之间还包括采集服务器，所述采集服务器设有日志实时采集工具，在启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息之前，所述方法还包括：
获取所述应用服务器的出口带宽；
基于所述出口带宽的大小确定利用日志实时采集工具和日志分析探针进行日志监控的时间比例；
所述启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息，包括：
启动所述日志分析探针，以按照所述日志分析探针对应的时间比例读取和扫描所述日志并基于所述日志生成监控指标信息。
出口带宽的大小与时间比例的关系可以是任意的，比如出口带宽越大，日志分析探针对应的时间比例越小，这样可以使得两种日志监控方式能够提供更优的监控效果，充分利用各种资源。
比如，时间比例可以为7:5，那么在一段时间内，有十二分之七的时间利用日志实时采集工具进行日志采集，而有十二分之五的时间利用日志实时采集工具进行日志采集。比如，在一天内，可以将前14个小时作为使用日志实时采集工具的时间，将其余10个小时作为使用日志分析探针的时间。
在本实施例中，通过利用两种方式相结合进行监控，保证了监控的全面性，同时两种监控方式使用的时间比例与应用服务器的出口带宽大小相关，因此可以更有效地利用带宽资源。
在一个实施例中，所述应用服务器和所述发布订阅消息系统之间还包括采集服务器，所述采集服务器设有日志实时采集工具，在启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息之前，所述方法还包括：
获取用户提交的自定义日志监控规则，所述自定义日志监控规则为所述日志实时采集工具和日志分析探针的运行时间，所述日志实时采集工具按照所述自定义日志监控规则运行；
所述启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息，包括：
按照所述自定义日志监控规则启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息。
比如，可以将每天的8:00-22:00作为日志分析探针的运行时间，将每天的22:00-8:00作为日志实时采集工具的运行时间。由于在每天8:00-22:00，应用服务器一般工作繁忙、带宽占用量大，此时利用日志分析探针进行日志监控可以节约带宽资源，而每天的22:00-8:00，应用服务器比较空闲、带宽占用量小，此时使用日志实时采集工具进行日志监控可以实现更多元地日志分析，充分利用带宽资源。
在本实施例，由于允许用户通过自定义日志监控规则，进行日志监控方式和对应的运行时间的自定义，能够更好地满足用户多样化的日志监控需求，更好地提升用户的体验。
在一个实施例中，所述发布订阅消息系统的所述监控指标信息存储于区块链中，在启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息之前，所述方法还包括：
获取根据监控需求编写的配置文件；
所述启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息，包括：
加载所述配置文件以启动所述日志分析探针，以使所述日志分析探针根据所述配置文件确定要监控的监控指标；
利用所述日志分析探针读取和扫描所述日志并基于所述日志和所述监控指标生成监控指标信息。
配置文件是根据监控需求编写的，因此定义了要监控的对象，可以包括要监控的指标，从而可以使日志分析探针根据配置文件确定要监控的监控指标。
在本实施例中，通过将监控需求都配置化，避免了大规模的编写监控程序的劳动，节约了人力成本，提高了日志监控效率。
在一个实施例中，所述日志分析探针在启动日志探针时启动一个每隔第三预定时间段执行的定时任务，所述定时任务在执行时读取和扫描在最近一个第四预定时间段生成的日志并基于所述日志生成监控指标信息。
在一个实施例中，所述基于所述日志生成监控指标信息包括：
基于所述日志得到监控指标值；
利用所述监控指标值聚合得到监控指标信息。
聚合是综合计算一组值得到结果的过程。
图3是根据一示例性实施例示出的基于日志生成监控指标信息的过程示意图。请参见图3，横线上方的直线连接的箭头(简称直箭头)代表定时任务所执行的时刻，而横线下方的曲线连接的箭头(简称曲箭头)代表定时任务执行的动作，每一直箭头与曲箭头对应代表在一个特定的时刻执行特定的定时任务。当第三预定时间段和第四预定时间段的长度均为一分钟时，相邻两个直箭头或曲箭头所间隔的横线长度既代表读取和扫描日志的时间长度，也代表读取和扫描的时间长度。
继续参见图3，一般每行日志都有时间戳，根据时间戳，可以确定取日志的范围，假设现在是16：36分，定时任务为整分钟启动一次，当定时任务启动时，日志分析探针会去取16：35至16：36分的日志来做计算，计算时会根据配置好的日志解析，得到监控指标信息。以ngnix的日志为例，可以取得每行日志中的接口地址、耗时，这样我们就可以统计该接口地址1分钟被调用的次数，以及平均耗时的基础指标，每次读取完日志，都会记录上一次读到的位置，这样可以保证每行日志都计算到。
图4是根据一示例性实施例示出的一种实现日志监控方法的系统框图。请参见图4，该系统框图包括应用服务器410、发布订阅消息系统420及监控端430，应用服务器410还包括日志分析探针411。首先，在应用服务器410上部署日志分析探针411，并启动日志分析探针411，从而使日志分析探针411在应用服务器410上运行；接着，日志分析探针411会不断对应用服务器410上目标应用生成的日志进行读取和扫描，从而生成监控指标信息；最后，应用服务器410将监控指标信息推送到发布订阅消息系统420，由于监控端430订阅了该监控指标信息，因此，当监控端430去发布订阅消息系统420拉取信息时，会拉取到该监控指标信息。
综上所述，根据图2实施例提供的日志监控方法，由于在应用侧直接分析日志得出监控指标信息，可以不再依赖日志文件的实时上传，节省了日志上传所消耗的带宽资源，也降低了带宽成本，还减少了发布订阅消息系统的压力，另外，在不影响应用的前提下，利用所在应用服务器的空闲资源进行计算，可以实现服务器资源的最大利用。
本申请还提供了一种日志监控装置，以下是本申请的装置实施例。
图5是根据一示例性实施例示出的一种日志监控装置的框图，该装置属于应用服务器。如图5所示，该装置500包括：
部署模块510，被配置为在应用服务器部署日志分析探针，所述应用服务器本地存储着由所述应用服务器上部署的目标应用生成的日志；
生成模块520，被配置为启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息；
推送模块530，被配置为将所述监控指标信息推送到发布订阅消息系统，以便订阅所述监控指标信息的监控方获得所述监控指标信息。
根据本申请的第三方面，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)621和/或高速缓存存储单元622，还可以进一步包括只读存储单元(ROM)623。
存储单元620还可以包括具有一组(至少一个)程序模块625的程序/实用工具624，这样的程序模块625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
根据本申请的第四方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种日志监控方法，其特征在于，所述方法由应用服务器执行，所述方法包括：
在应用服务器部署日志分析探针，所述应用服务器本地存储着由所述应用服务器上部署的目标应用生成的日志；
启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息；
将所述监控指标信息推送到发布订阅消息系统，以便订阅所述监控指标信息的监控方获得所述监控指标信息。
2.根据权利要求1所述的方法，其特征在于，所述应用服务器上预先设置有与所述日志分析探针对应的CPU使用上限参数和/或内存使用上限参数，所述CPU使用上限参数为所述日志分析探针在所述应用服务器运行时CPU占用率的最大值，所述内存使用上限参数为所述日志分析探针在所述应用服务器运行时内存占用率的最大值，所述日志分析探针在所述应用服务器上运行时以对应的所述CPU使用上限参数和/或所述内存使用上限参数为限。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
每隔第一预定时间段获取所述应用服务器的CPU使用率和/或内存使用率；
根据所述CPU使用率和/或所述内存使用率配置在下一第二预定时间段内所述日志分析探针对应的CPU使用上限参数和/或内存使用上限参数。
4.根据权利要求1所述的方法，其特征在于，所述应用服务器和所述发布订阅消息系统之间还包括采集服务器，所述采集服务器设有日志实时采集工具，在启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息之前，所述方法还包括：
获取所述应用服务器的出口带宽；
基于所述出口带宽的大小确定利用日志实时采集工具和日志分析探针进行日志监控的时间比例；
所述启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息，包括：
启动所述日志分析探针，以按照所述日志分析探针对应的时间比例读取和扫描所述日志并基于所述日志生成监控指标信息。
5.根据权利要求1所述的方法，其特征在于，所述应用服务器和所述发布订阅消息系统之间还包括采集服务器，所述采集服务器设有日志实时采集工具，在启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息之前，所述方法还包括：
获取用户提交的自定义日志监控规则，所述自定义日志监控规则为所述日志实时采集工具和日志分析探针的运行时间，所述日志实时采集工具按照所述自定义日志监控规则运行；
所述启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息，包括：
按照所述自定义日志监控规则启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息。
6.根据权利要求1所述的方法，其特征在于，所述发布订阅消息系统的所述监控指标信息存储于区块链中，在启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息之前，所述方法还包括：
获取根据监控需求编写的配置文件；
所述启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息，包括：
加载所述配置文件以启动所述日志分析探针，以使所述日志分析探针根据所述配置文件确定要监控的监控指标；
利用所述日志分析探针读取和扫描所述日志并基于所述日志和所述监控指标生成监控指标信息。
7.根据权利要求1所述的方法，其特征在于，所述日志分析探针在启动日志探针时启动一个每隔第三预定时间段执行的定时任务，所述定时任务在执行时读取和扫描在最近一个第四预定时间段生成的日志并基于所述日志生成监控指标信息。
8.一种日志监控装置，其特征在于，所述装置属于应用服务器，所述装置包括：
部署模块，被配置为在应用服务器部署日志分析探针，所述应用服务器本地存储着由所述应用服务器上部署的目标应用生成的日志；
生成模块，被配置为启动所述日志分析探针，以读取和扫描所述日志并基于所述日志生成监控指标信息；
推送模块，被配置为将所述监控指标信息推送到发布订阅消息系统，以便订阅所述监控指标信息的监控方获得所述监控指标信息。
9.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612674.9A CN112751729A (zh) | 2020-12-30 | 2020-12-30 | 日志监控方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612674.9A CN112751729A (zh) | 2020-12-30 | 2020-12-30 | 日志监控方法、装置、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112751729A true CN112751729A (zh) | 2021-05-04 |
Family
ID=75649803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011612674.9A Pending CN112751729A (zh) | 2020-12-30 | 2020-12-30 | 日志监控方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112751729A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434135A (zh) * | 2021-06-28 | 2021-09-24 | 青岛海尔科技有限公司 | 接口的调用重复度确定方法和装置、存储介质及电子装置 |
| CN113672484A (zh) * | 2021-08-09 | 2021-11-19 | 深圳市猿人创新科技有限公司 | 一种基于日志信息的设备监控方法、装置、设备及介质 |
| CN114666209A (zh) * | 2022-04-29 | 2022-06-24 | 中国银行股份有限公司 | 一种基于多中心的日志监控方法及装置 |
| CN114679489A (zh) * | 2022-03-01 | 2022-06-28 | 北京金山云网络技术有限公司 | 一种消息推送方法、装置、设备及介质 |
| CN115080363A (zh) * | 2022-08-23 | 2022-09-20 | 中国中金财富证券有限公司 | 一种基于业务日志的系统容量评估方法及装置 |
| CN116204388A (zh) * | 2023-04-27 | 2023-06-02 | 北京合力金智科技发展有限公司 | 一种系统服务状态的智能监控系统及方法 |
| US12019653B2 (en) | 2021-12-07 | 2024-06-25 | International Business Machines Corporation | Blockchain clock for storing event data |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669848A (zh) * | 2017-10-16 | 2019-04-23 | 比亚迪股份有限公司 | 日志生成方法、应用服务器、日志服务器及日志生成系统 |
| CN110795412A (zh) * | 2019-10-10 | 2020-02-14 | 北京达佳互联信息技术有限公司 | 日志信息的处理方法、装置及存储介质 |
| WO2020147264A1 (zh) * | 2019-01-14 | 2020-07-23 | 平安科技（深圳）有限公司 | 多系统日志数据的监控方法、装置、设备及可读存储介质 |
| CN111680016A (zh) * | 2020-05-28 | 2020-09-18 | 中国人民银行清算总中心 | 分布式服务器集群日志数据处理方法、装置及系统 |
-
2020
- 2020-12-30 CN CN202011612674.9A patent/CN112751729A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669848A (zh) * | 2017-10-16 | 2019-04-23 | 比亚迪股份有限公司 | 日志生成方法、应用服务器、日志服务器及日志生成系统 |
| WO2020147264A1 (zh) * | 2019-01-14 | 2020-07-23 | 平安科技（深圳）有限公司 | 多系统日志数据的监控方法、装置、设备及可读存储介质 |
| CN110795412A (zh) * | 2019-10-10 | 2020-02-14 | 北京达佳互联信息技术有限公司 | 日志信息的处理方法、装置及存储介质 |
| CN111680016A (zh) * | 2020-05-28 | 2020-09-18 | 中国人民银行清算总中心 | 分布式服务器集群日志数据处理方法、装置及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434135A (zh) * | 2021-06-28 | 2021-09-24 | 青岛海尔科技有限公司 | 接口的调用重复度确定方法和装置、存储介质及电子装置 |
| CN113434135B (zh) * | 2021-06-28 | 2023-06-16 | 青岛海尔科技有限公司 | 接口的调用重复度确定方法和装置、存储介质及电子装置 |
| CN113672484A (zh) * | 2021-08-09 | 2021-11-19 | 深圳市猿人创新科技有限公司 | 一种基于日志信息的设备监控方法、装置、设备及介质 |
| US12019653B2 (en) | 2021-12-07 | 2024-06-25 | International Business Machines Corporation | Blockchain clock for storing event data |
| CN114679489A (zh) * | 2022-03-01 | 2022-06-28 | 北京金山云网络技术有限公司 | 一种消息推送方法、装置、设备及介质 |
| CN114666209A (zh) * | 2022-04-29 | 2022-06-24 | 中国银行股份有限公司 | 一种基于多中心的日志监控方法及装置 |
| CN115080363A (zh) * | 2022-08-23 | 2022-09-20 | 中国中金财富证券有限公司 | 一种基于业务日志的系统容量评估方法及装置 |
| CN115080363B (zh) * | 2022-08-23 | 2022-11-15 | 中国中金财富证券有限公司 | 一种基于业务日志的系统容量评估方法及装置 |
| CN116204388A (zh) * | 2023-04-27 | 2023-06-02 | 北京合力金智科技发展有限公司 | 一种系统服务状态的智能监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112751729A (zh) | 日志监控方法、装置、介质及电子设备 | |
| US10210036B2 (en) | Time series metric data modeling and prediction | |
| US9467347B2 (en) | Systems and methods that utilize scalable vector graphics to provide web-based visualization of a device | |
| US10116534B2 (en) | Systems and methods for WebSphere MQ performance metrics analysis | |
| CN111045911B (zh) | 性能测试方法、性能测试装置、存储介质与电子设备 | |
| CN107392259B (zh) | 构建不均衡样本分类模型的方法和装置 | |
| CN111740860A (zh) | 日志数据传输链路监控方法及装置 | |
| CN112988679B (zh) | 日志采集控制方法、装置、存储介质及服务器 | |
| CN107704387A (zh) | 用于系统预警的方法、装置、电子设备及计算机可读介质 | |
| CN101771565A (zh) | 单一服务器实现大批量或不同种基板管理控制器模拟方法 | |
| CN111311014B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN111800292A (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
| US11477215B2 (en) | Scaling a processing resource of a security information and event management system | |
| CN110347546B (zh) | 监控任务动态调整方法、装置、介质及电子设备 | |
| CN114465919B (zh) | 一种网络服务测试方法、系统、电子设备及存储介质 | |
| CN109460278A (zh) | 云桌面建筑设计软件管理方法、装置和计算机设备 | |
| US20180005249A1 (en) | Optimize a resource allocation plan corresponding to a legacy software product sustenance | |
| CN113158497A (zh) | 在线服务实验方法、装置、计算机设备和存储介质 | |
| CN109669779B (zh) | 用于确定数据的清理路径、清理数据的方法和设备 | |
| CN111338882A (zh) | 数据监控方法、装置、介质及电子设备 | |
| CN113886780B (zh) | 客户信息校验方法、装置、介质及电子设备 | |
| CN117130873B (zh) | 一种任务监控的方法和装置 | |
| US20230385045A1 (en) | Method, device, and computer program product for upgrading virtual system | |
| US20230125932A1 (en) | Method, electronic device, and computer program product for training failure analysis model | |
| CN112882992A (zh) | 用于显示信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210504 |