CN113381907A - 日志采集方法及装置、电子设备、存储介质 - Google Patents

日志采集方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN113381907A
CN113381907A CN202110628792.7A CN202110628792A CN113381907A CN 113381907 A CN113381907 A CN 113381907A CN 202110628792 A CN202110628792 A CN 202110628792A CN 113381907 A CN113381907 A CN 113381907A
Authority
CN
China
Prior art keywords
log
configuration
client
application
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110628792.7A
Other languages
English (en)
Inventor
王仁君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guahao Net Hangzhou Technology Co Ltd
Original Assignee
Guahao Net Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guahao Net Hangzhou Technology Co Ltd filed Critical Guahao Net Hangzhou Technology Co Ltd
Priority to CN202110628792.7A priority Critical patent/CN113381907A/zh
Publication of CN113381907A publication Critical patent/CN113381907A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种日志采集方法及装置、电子设备、计算机可读存储介质，该方法包括：获取客户端上待监控应用对应的日志采集配置；向所述客户端发送包含所述日志采集配置的初始化配置指令，以由所述客户端保存所述日志采集配置；向所述客户端发送启动采集指令，使得所述客户端依据所述日志采集配置采集所述待监控应用的日志信息并上传；接收所述客户端上传的所述日志信息。本申请方案，通过自动化下发日志采集配置，可以极大地降低人力成本，并实现设备批量配置，从而提高配置效率，并降低因人工重复工作而造成的配置出错。

Description

日志采集方法及装置、电子设备、存储介质
技术领域
本申请涉及通信技术领域，特别涉及一种日志采集方法及装置、电子设备、计算机可读存储介质。
背景技术
应用软件运行过程中的日志可用于分析应用软件的运行状态。相关技术主要通过人工方法和半人工方法收集设备上应用软件的日志。人工方法是由运维人员直接通过SSH(Secure Shell，安全外壳协议)登陆目标设备，以下载目标设备上应用软件的日志文件。半人工方法是由运维人员在目标设备上安装类似filebeat的日志采集工具，日志采集工具可以采集目标设备上应用软件的日志，并将日志传输至logstash之类的数据收集引擎；数据收集引擎将日志进行清洗、格式化之后，可以将经过处理的日志存储到检索数据库。
随着应用软件数量的增长、以及部署应用软件的设备数量的增长，人工方法的人力成本变得非常高。不同设备上需采集日志的应用软件可能不同，且不同设备上应用软件的日志存储位置可能不同，半人工方法在应对不同设备的日志采集工具的个性化配置时，效率过低，且容易出错。如果配置出错，在更改配置前的很长时间段内均会采集错误的日志。
发明内容
本申请实施例的目的在于提供一种日志采集方法及装置、电子设备、计算机可读存储介质，用于自动化采集日志信息。
一方面，本申请提供了一种日志采集方法，应用于服务端，包括：
获取客户端上待监控应用对应的日志采集配置；
向所述客户端发送包含所述日志采集配置的初始化配置指令，以由所述客户端保存所述日志采集配置；
向所述客户端发送启动采集指令，使得所述客户端依据所述日志采集配置采集所述待监控应用的日志信息并上传；
接收所述客户端上传的所述日志信息。
在一实施例中，在所述向所述客户端发送包含所述日志采集配置的初始化配置指令之后，所述方法还包括：
重新获取针对所述待监控应用的日志采集配置；
向所述客户端发送更新配置指令，所述更新配置指令包含重新获取的日志采集配置，以由所述客户端更新本地的日志采集配置。
一方面，本申请提供了一种日志采集方法，应用于客户端，包括：
接收初始化配置指令，并从所述初始化配置指令中解析出与本地待监控应用对应的日志采集配置；
接收针对所述待监控应用的启动采集指令；
依据所述日志采集配置采集所述待监控应用的日志信息，并上传所述日志信息。
在一实施例中，所述日志采集配置包括日志文件路径、断行规则；
所述依据所述日志采集配置采集所述待监控应用的日志信息，包括：
依据所述日志文件路径对所述待监控应用的日志文件进行监听；
当所述日志文件存在新增内容时，依据所述断行规则对所述新增内容进行断行处理，获得多条日志信息。
在一实施例中，所述日志采集配置包括采集进度存储路径，所述方法还包括：
在采集所述待监控应用的日志信息时，在所述采集进度存储路径写入对应于所述待监控应用的日志采集进度；
响应于接收到的采集进度查询指令，从所述采集进度存储路径中读取所述日志采集进度，并返回所述日志采集进度。
在一实施例中，所述日志采集配置包括目标时长阈值，所述方法还包括：
在监听所述待监控应用的日志文件以采集日志信息时，若所述日志文件停止更新时长达到所述目标时长阈值，关闭针对所述日志文件的监听任务。
另一方面，本申请提供了一种日志采集装置，应用于服务端，包括：
获取模块，用于获取客户端上待监控应用对应的日志采集配置；
发送模块，用于向所述客户端发送包含所述日志采集配置的初始化配置指令，以由所述客户端保存所述日志采集配置；向所述客户端发送启动采集指令，使得所述客户端依据所述日志采集配置采集所述待监控应用的日志信息并上传；
接收模块，用于接收所述客户端上传的所述日志信息。
另一方面，本申请提供了一种日志采集装置，应用于客户端，包括：
解析模块，用于接收初始化配置指令，并从所述初始化配置指令中解析出与本地待监控应用对应的日志采集配置；
响应模块，用于接收针对所述待监控应用的启动采集指令；
采集模块，用于依据所述日志采集配置采集所述待监控应用的日志信息，并上传所述日志信息。
进一步的，本申请还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述日志采集方法。
另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述日志采集方法。
本申请方案，服务端在获取待监控应用对应的日志采集配置后，可以向客户端下发日志采集配置，使得客户端可以依据日志采集配置执行针对待监控应用的日志采集任务；通过自动化下发日志采集配置，可以极大地降低人力成本，并实现设备批量配置，从而提高配置效率，并降低因人工重复工作而造成的配置出错。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的日志采集方法的应用场景示意图；
图2为本申请一实施例提供的电子设备的结构示意图；
图3为本申请另一实施例提供的电子设备的结构示意图；
图4为本申请一实施例提供的日志采集方法的流程示意图；
图5为本申请一实施例提供的日志内容的示意图；
图6为本申请一实施例提供的日志采集系统的架构示意图；
图7为本申请一实施例提供的日志采集装置的框图；
图8为本申请另一实施例提供的日志采集装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的日志采集方法的应用场景示意图。如图1所示，该应用场景包括客户端40和服务端30；客户端40可以是主机、手机、平板电脑、服务器等搭载日志采集软件的设备，用于向服务端30发送设备上应用软件的日志信息；服务端30可以是搭载日志管理中心的服务器、服务器集群或云计算中心，可以收集客户端40上传的日志信息。
如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述客户端40，用于执行日志采集方法。
存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的应用于客户端的日志采集方法。
如图3所示，本实施例提供一种电子设备2，包括：至少一个处理器21和存储器22，图3中以一个处理器21为例。处理器21和存储器22通过总线20连接，存储器22存储有可被处理器21执行的指令，指令被处理器21执行，以使电子设备2可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备2可以是上述服务端30，用于执行日志采集方法。
存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。
本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器21执行以完成本申请提供的应用于服务端的日志采集方法。
参见图4，为本申请一实施例提供的日志采集方法的流程示意图，如图4所示，该方法可以包括以下步骤410-步骤450。
步骤410：服务端获取客户端上待监控应用对应的日志采集配置。
其中，待监控应用是需要接受日志采集的应用软件，待监控应用可以安装于客户端设备。
服务端是搭载日志管理中心的设备，可以收集各客户端上应用软件的日志信息。客户端是搭载日志采集软件的设备，通过日志采集软件接收日志管理中心下发的日志采集配置并依据日志采集配置采集日志信息。
针对任一应用软件的日志采集配置，可以包括用于指示应用软件的应用名、客户端的IP(Internet Protocol Address，互联网协议地址)地址、传送日志信息的消费队列的主题(topic)、日志文件路径、断行规则、采集进度存储路径等配置信息。
服务端可以从数据库读取待监控设备列表，该待监控设备列表可以包括多个接收日志采集的设备的标识(比如：IP地址)、以及每一设备上待监控应用的应用标识(比如：应用名)。这里，数据库可以是配置管理数据库(Configuration Management Database，CMDB)。
服务端可以向运维人员提供配置页面，供运维人员在配置页面上针对待监控设备列表上各设备的待监控应用填入相应的日志采集配置，从而获得不同客户端上不同待监控应用对应的日志采集配置。
步骤420：服务端向客户端发送包含日志采集配置的初始化配置指令。
服务端获得日志采集配置之后，可以构造包含日志采集配置的初始化配置指令，并向日志采集配置对应的客户端发送初始化配置指令。
步骤430：客户端接收初始化配置指令，并从初始化配置指令中解析出与本地待监控应用对应的日志采集配置。
客户端接收到初始化配置指令后，可以从中解析出与本地待监控应用对应的日志采集配置，并在本地存储日志采集配置。后续客户端可以依据日志采集配置执行针对本地待监控应用的日志采集任务。
步骤440：客户端接收针对待监控应用的启动采集指令，依据日志采集配置采集待监控应用的日志信息。
步骤450：服务端接收客户端上传的日志信息。
服务端向客户端下发日志采集配置之后，可以向客户端发送启动采集指令。该启动采集指令可以包含待监控应用的应用标识。客户端接收启动采集指令后，可以响应于该启动采集指令，依据启动采集指令中的应用标识确定对应的日志采集配置，并根据日志采集配置采集待监控应用的日志信息。
客户端采集日志信息后，可以通过日志采集配置所指示的消息队列将日志信息传输至服务端。服务端可以通过消息队列接收日志信息，并在本地保存待监控应用的日志信息。
通过上述措施，服务端可以自动化地向客户端下发日志采集配置，极大地降低了人力成本，且避免了重复的人工配置工作，提高了配置效率。
在一实施例中，服务端在向客户端发送初始化配置指令之后，可以更新客户端的日志采集配置。
服务端可以重新获取针对待监控应用的日志采集配置。运维人员可在配置页面上对任一客户端上任一待监控应用的日志采集配置进行更新，使得服务端可以获取更新后的日志采集配置。
服务端可以构造包含更新后的日志采集配置的更新配置指令，并向客户端发送更新配置指令。客户端接收到更新配置指令后，可以从中解析出更新后的日志采集配置，并在替换本地原有的日志采集配置，从而在后续依据更新后的日志采集配置执行日志采集任务。
通过上述措施，可以便捷地完成日志采集配置的更新工作，从而在配置存在问题时可以及时更高，减少对日志采集任务造成的影响。
在一实施例中，客户端开始采集日志信息后，服务端可以向客户端发送暂停采集指令，该暂停采集指令可以包括待监控应用的应用标识。客户端接收到暂停采集指令后，可以暂停针对应用标识指示的待监控应用的日志采集任务。
在一实施例中，客户端在依据日志采集配置采集待监控应用的日志信息时，可以依据日志采集配置中的日志文件路径，对待监控应用的日志文件进行监听，从而可以及时获知日志文件的更新情况。
当日志文件存在新增内容时，客户端可以依据日志采集配置中的断行规则对新增内容进行断行处理，从而获得多条日志信息。
其中，日志文件中通常以时间格式“年-月-日时-分-秒-微秒”开始的一行内容作为一条日志信息，但在某些场景中必须将多行内容作为一条日志。比如：Java语言打印的异常堆栈，多行内容才构成一条日志信息。
参见图5，为本申请一实施例提供的日志内容的示意图，如图5所示，日志内容的开头为时间信息，且一行内容结束后，下面几行内容的开头都不是时间信息。
客户端依据断行规则对新增内容进行断行处理时，可以依据时间信息对新增内容进行拆分，使得拆分后的新增内容均以时间信息为开头。
这里，客户端可以依据预设的行头正则配置“^\d{4}-\d{2}-\d{2}\s\d{2}\:\d{2}\:\d{2}”实现以时间信息为开头对新增内容的拆分。此外，断行规则中还可限定拆分时非时间信息开头的行数的最大值，示例性的，该最大值可以是500，此时，在以时间信息开头的一行新增内容开始之后，后续最多可连接500行开头不是时间信息的日志内容。
通过上述措施，客户端可以从日志文件中采集到拆分合理的日志信息。
在一实施例中，客户端在采集待监控应用的日志信息时，可以在日志采集配置的采集进度存储路径中写入对应于待监控应用的日志采集进度。
服务端可以向客户端发送采集进度查询指令，该采集进度查询指令用于查找日志采集进度。客户端可以从采集进度查询指令中解析出应用标识，并从对应的采集进度存储路径中读取日志采集进度，并向服务端返回日志采集进度。
通过上述措施，可以实现对日志采集进度的查询功能，有助于运维人员直观了解对待监控应用的日志采集情况。
在一实施例中，日志采集配置可包括目标时长阈值，该目标时长阈值是放弃监听日志文件的最大等待时长。客户端在采集待监控应用的日志信息时，在监听待监控应用的日志文件以采集日志信息时，若日志文件停止更新时长达到上述目标时长阈值，客户端可以关闭针对日志文件的监听任务。这里，停止更新时长是日志文件从最后一次更新后开始持续未更新的时长。
通过上述措施，可以避免无效的监听任务造成的资源浪费。
参见图6，为本申请一实施例提供的日志采集系统的架构示意图，如图6所示，搭载日志管理中心的服务端可以从CMDB查询应用和机器信息，确定需要接受日志采集的设备以及各设备上的待监控应用，服务端可以获取针对待监控应用的日志采集配置，并向搭载日志采集软件(图6中的Logagent)的客户端设备下发日志采集配置，并可在kafka集群创建用于传输日志信息的消息队列。服务端可以实现对客户端上日志采集任务的启动和暂停，并可实现采集状态监控。
图7是本发明一实施例的一种日志采集装置，应用于服务端，如图7所示，该装置可以包括：
获取模块710，用于获取客户端上待监控应用对应的日志采集配置；
发送模块720，用于向所述客户端发送包含所述日志采集配置的初始化配置指令，以由所述客户端保存所述日志采集配置；向所述客户端发送启动采集指令，使得所述客户端依据所述日志采集配置采集所述待监控应用的日志信息并上传；
接收模块730，用于接收所述客户端上传的所述日志信息。
图8为本申请另一实施例提供的日志采集装置的框图，应用于客户端，如图8所示，该装置可以包括：
解析模块810，用于接收初始化配置指令，并从所述初始化配置指令中解析出与本地待监控应用对应的日志采集配置；
响应模块820，用于接收针对所述待监控应用的启动采集指令；
采集模块830，用于依据所述日志采集配置采集所述待监控应用的日志信息，并上传所述日志信息。
上述装置中各个模块的功能和作用的实现过程具体详见上述日志采集方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种日志采集方法，应用于服务端，其特征在于，包括：
获取客户端上待监控应用对应的日志采集配置；
向所述客户端发送包含所述日志采集配置的初始化配置指令，以由所述客户端保存所述日志采集配置；
向所述客户端发送启动采集指令，使得所述客户端依据所述日志采集配置采集所述待监控应用的日志信息并上传；
接收所述客户端上传的所述日志信息。
2.根据权利要求1所述的方法，其特征在于，在所述向所述客户端发送包含所述日志采集配置的初始化配置指令之后，所述方法还包括：
重新获取针对所述待监控应用的日志采集配置；
向所述客户端发送更新配置指令，所述更新配置指令包含重新获取的日志采集配置，以由所述客户端更新本地的日志采集配置。
3.一种日志采集方法，应用于客户端，其特征在于，包括：
接收初始化配置指令，并从所述初始化配置指令中解析出与本地待监控应用对应的日志采集配置；
接收针对所述待监控应用的启动采集指令；
依据所述日志采集配置采集所述待监控应用的日志信息，并上传所述日志信息。
4.根据权利要求3所述的方法，其特征在于，所述日志采集配置包括日志文件路径、断行规则；
所述依据所述日志采集配置采集所述待监控应用的日志信息，包括：
依据所述日志文件路径对所述待监控应用的日志文件进行监听；
当所述日志文件存在新增内容时，依据所述断行规则对所述新增内容进行断行处理，获得多条日志信息。
5.根据权利要求3所述的方法，其特征在于，所述日志采集配置包括采集进度存储路径，所述方法还包括：
在采集所述待监控应用的日志信息时，在所述采集进度存储路径写入对应于所述待监控应用的日志采集进度；
响应于接收到的采集进度查询指令，从所述采集进度存储路径中读取所述日志采集进度，并返回所述日志采集进度。
6.根据权利要求3所述的方法，其特征在于，所述日志采集配置包括目标时长阈值，所述方法还包括：
在监听所述待监控应用的日志文件以采集日志信息时，若所述日志文件停止更新时长达到所述目标时长阈值，关闭针对所述日志文件的监听任务。
7.一种日志采集装置，应用于服务端，其特征在于，包括：
获取模块，用于获取客户端上待监控应用对应的日志采集配置；
发送模块，用于向所述客户端发送包含所述日志采集配置的初始化配置指令，以由所述客户端保存所述日志采集配置；向所述客户端发送启动采集指令，使得所述客户端依据所述日志采集配置采集所述待监控应用的日志信息并上传；
接收模块，用于接收所述客户端上传的所述日志信息。
8.一种日志采集装置，应用于客户端，其特征在于，包括：
解析模块，用于接收初始化配置指令，并从所述初始化配置指令中解析出与本地待监控应用对应的日志采集配置；
响应模块，用于接收针对所述待监控应用的启动采集指令；
采集模块，用于依据所述日志采集配置采集所述待监控应用的日志信息，并上传所述日志信息。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-6任意一项所述的日志采集方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-6任意一项所述的日志采集方法。
CN202110628792.7A 2021-06-04 2021-06-04 日志采集方法及装置、电子设备、存储介质 Pending CN113381907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110628792.7A CN113381907A (zh) 2021-06-04 2021-06-04 日志采集方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110628792.7A CN113381907A (zh) 2021-06-04 2021-06-04 日志采集方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN113381907A true CN113381907A (zh) 2021-09-10

Family

ID=77575925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110628792.7A Pending CN113381907A (zh) 2021-06-04 2021-06-04 日志采集方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN113381907A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115913920A (zh) * 2022-12-07 2023-04-04 北京中电普华信息技术有限公司 一种日志采集方法、装置和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109088782A (zh) * 2018-11-01 2018-12-25 郑州云海信息技术有限公司 分布式系统的日志收集方法及装置
CN109491859A (zh) * 2018-10-16 2019-03-19 华南理工大学 针对Kubernetes集群中容器日志的收集方法
US20190317787A1 (en) * 2018-04-13 2019-10-17 Vmware, Inc. Rebuilding a virtual infrastructure based on user data
CN110519077A (zh) * 2019-07-26 2019-11-29 济南浪潮数据技术有限公司 一种日志采集系统、方法、装置、服务器及存储介质
CN110716910A (zh) * 2019-10-14 2020-01-21 中国建设银行股份有限公司 一种日志管理方法、装置、设备和存储介质
CN110968478A (zh) * 2019-11-21 2020-04-07 掌阅科技股份有限公司 日志采集方法、服务器及计算机存储介质
CN110968560A (zh) * 2018-09-29 2020-04-07 北京国双科技有限公司 日志采集器的配置方法、装置及系统
CN110990178A (zh) * 2019-11-27 2020-04-10 深圳前海微众银行股份有限公司 关键字采集监控方法、装置、设备及计算机存储介质
CN112256659A (zh) * 2020-10-19 2021-01-22 北京达佳互联信息技术有限公司 日志上报方法、接收方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190317787A1 (en) * 2018-04-13 2019-10-17 Vmware, Inc. Rebuilding a virtual infrastructure based on user data
CN110968560A (zh) * 2018-09-29 2020-04-07 北京国双科技有限公司 日志采集器的配置方法、装置及系统
CN109491859A (zh) * 2018-10-16 2019-03-19 华南理工大学 针对Kubernetes集群中容器日志的收集方法
CN109088782A (zh) * 2018-11-01 2018-12-25 郑州云海信息技术有限公司 分布式系统的日志收集方法及装置
CN110519077A (zh) * 2019-07-26 2019-11-29 济南浪潮数据技术有限公司 一种日志采集系统、方法、装置、服务器及存储介质
CN110716910A (zh) * 2019-10-14 2020-01-21 中国建设银行股份有限公司 一种日志管理方法、装置、设备和存储介质
CN110968478A (zh) * 2019-11-21 2020-04-07 掌阅科技股份有限公司 日志采集方法、服务器及计算机存储介质
CN110990178A (zh) * 2019-11-27 2020-04-10 深圳前海微众银行股份有限公司 关键字采集监控方法、装置、设备及计算机存储介质
CN112256659A (zh) * 2020-10-19 2021-01-22 北京达佳互联信息技术有限公司 日志上报方法、接收方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115913920A (zh) * 2022-12-07 2023-04-04 北京中电普华信息技术有限公司 一种日志采集方法、装置和设备

Similar Documents

Publication Publication Date Title
CN105915633B (zh) 自动化运维系统和方法
CN107957940B (zh) 一种测试日志处理方法、系统及终端
CN112118174B (zh) 软件定义数据网关
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN111046011A (zh) 日志收集方法、系统、节点、电子设备及可读存储介质
CN110932918B (zh) 日志数据采集方法、装置及存储介质
CN111338893A (zh) 进程日志处理方法、装置、计算机设备以及存储介质
US11431802B2 (en) Method for data processing, system and computer readable storage medium
CN115086379B (zh) 一种基于边缘计算及虚拟化技术的数控机床数据采集方法
CN112822260A (zh) 文件传输方法及装置、电子设备、存储介质
CN113472858B (zh) 埋点数据处理方法、装置及电子设备
CN111309696A (zh) 日志处理方法及装置、电子设备、可读介质
CN113381907A (zh) 日志采集方法及装置、电子设备、存储介质
CN109783330B (zh) 日志处理方法、显示方法和相关装置、系统
CN113395180B (zh) 一种工业实时大数据采集发布方法及工业实时大数据平台
CN107729213A (zh) 一种后台任务监控方法及装置
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN113342503A (zh) 实时进度反馈方法、装置、设备及存储介质
CN111078975B (zh) 一种多节点增量式数据采集系统及采集方法
CN113704203A (zh) 一种日志文件的处理方法及装置
CN114201659A (zh) 一种消息轨迹传输查询方法、装置及系统
CN115086164B (zh) 策略下发方法、系统、装置及计算机可读存储介质
CN116484373B (zh) 异常进程查杀方法、系统、装置、计算机设备及存储介质
CN115757041B (zh) 可动态配置的多集群日志采集的方法及应用
CN117112039B (zh) 一种数据中心的传输优化系统及运行方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910

RJ01 Rejection of invention patent application after publication