CN112988679B - 日志采集控制方法、装置、存储介质及服务器 - Google Patents
日志采集控制方法、装置、存储介质及服务器 Download PDFInfo
- Publication number
- CN112988679B CN112988679B CN202110292102.5A CN202110292102A CN112988679B CN 112988679 B CN112988679 B CN 112988679B CN 202110292102 A CN202110292102 A CN 202110292102A CN 112988679 B CN112988679 B CN 112988679B
- Authority
- CN
- China
- Prior art keywords
- time interval
- server
- agent
- data
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 27
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000013480 data collection Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 239000012530 fluid Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000002035 prolonged effect Effects 0.000 abstract description 8
- 239000003795 chemical substances by application Substances 0.000 description 102
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 229940004975 interceptor Drugs 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Abstract
本申请实施例公开了一种日志采集控制方法、装置、存储介质及服务器，属于计算机技术领域。方法包括：监测服务器的处理器占用率，在处理器占用率大于或等于预设占用率阈值时，延长Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使Flume agent基于第二时间间隔采集日志数据，在服务器的处理器占用率较高的情况下，通过延长Flume agent采集日志数据的时间间隔的方式，可有效降低采集日志数据过程中的处理器占用率，并确保服务器处理线上业务的稳定性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种日志采集控制方法、装置、存储介质及服务器。
背景技术
随着互联网技术的发展，各种各样的互联网服务也应运而生，而这些互联网服务通常会产生大量的日志数据，在大数据时代，采集互联网服务过程中产生的日志数据对于分析、优化、提升互联网服务极其有价值。但在相关技术中，互联网服务过程中产生的日志数据通常分布在多个不同的电子设备或服务器中，且产生的日志数据的数据量较大，在采集日志数据时，容易导致出现过度占用处理器的情况，进而影响电子设备或服务器正常工作。
发明内容
本申请实施例提供了一种日志采集控制方法、装置、存储介质及服务器，可以解决在相关技术中采集日志数据会导致过度占用处理器的问题。所述技术方案如下：
第一方面，本申请实施例提供了一种日志采集控制方法，所述方法应用于部署有日志采集代理Flume agent的服务器，所述方法包括
监测所述服务器的处理器占用率；
在所述处理器占用率大于或等于预设占用率阈值时，延长所述Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使所述Flume agent基于所述第二时间间隔采集所述日志数据。
第二方面，本申请实施例提供了一种日志采集控制装置，所述装置应用于部署有日志采集代理Flume agent的服务器，所述装置包括：
监测模块，用于监测所述服务器的处理器占用率；
处理模块，用于在所述处理器占用率大于或等于预设占用率阈值时，延长所述Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使所述Flume agent基于所述第二时间间隔采集所述日志数据。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种服务器，可包括：处理器、存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
本申请实施例的方案在执行时，监测服务器的处理器占用率，在处理器占用率大于或等于预设占用率阈值时，延长Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使Flume agent基于第二时间间隔采集日志数据，在服务器的处理器占用率较高的情况下，通过延长Flume agent采集日志数据的时间间隔的方式，可有效降低采集日志数据过程中的处理器占用率，并确保服务器处理线上业务的稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的日志采集控制方法的系统架构图；
图2是本申请实施例提供的日志采集控制方法的流程示意图；
图3是本申请实施例提供的日志采集控制方法的另一流程示意图；
图4是本申请实施例提供的一种装置的结构示意图；
图5是本申请实施例提供的一种装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
图1示出了可以应用于本申请的日志采集控制方法的示例性系统架构。
如图1所示，本申请的系统架构可以包括业务服务器100、中心服务器101、以及通信传输通道102。业务服务器100中部署有日志采集代理(Flume agent)103，日志采集代理是日志采集系统的最小独立运行单元，日志采集代理是一个完整的数据收集工具，其核心组件包括数据收集端Source、数据缓冲区Channel和运行器Sink。
在日志采集代理(Flume agent)103中，Source是从其他生产数据的应用中接受数据的组件，Source可监听一个或者多个网络端口，用于接收数据或者从本地文件系统中读取数据，每个Source至少连接一个Channel。Channel主要是用来缓冲Flume agent以及接收尚未写出到另外一个Flume agent或者存储系统的数据。Sink可从Channel中读取数据，多个Source可以安全地写入到同一Channel中，多个Sink也可从同一个Channel中读取数据。Sink可连续轮训各自的Channel来读取和删除事件，Sink将事件推送到下一阶段，或推送到最终目的地。在下一阶段或者其目的地中数据是安全的，Sink可通过事务提交通知Channel，并从Channel中删除这一事件。
业务服务器100可以是提供各种业务服务的服务器，业务服务器100可以是硬件，也可以是软件。当业务服务器100为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当业务服务器100为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。业务服务器100中部署有日志采集代理103，日志采集代理103可采集业务服务器100在处理线上业务时产生的日志数据，通常业务服务器100在处理线上业务频繁时，与此同时产生的日志数据也多(线上业务并发越高，日志数据产生速度也越快)。各个业务服务器各自会对应有一个或多个终端，终端在运行的各自应用程序会访问到业务服务器。业务服务器处理终端发送的访问请求的过程，也即业务服务器处理线上业务的过程。通常，会有多个业务服务器100处理不同或相同的线上业务，每个业务服务器100上均部署有各自的日志采集代理103，各个业务服务器100中的日志采集代理103会采集各自在处理线上业务时产生的日志数据，日志采集代理103在采集日志数据的过程中可能会线上业务共用处理器、内存、网络等资源。
中心服务器101是用于收集各个业务服务器100上传的日志数据的日志存储服务器，各个业务服务器100通过各自的日志采集代理103采集到的日志数据均需要上传到中心服务器101中进行统一管理。通信传输通道102可以是一种通信传输协议，如：传输控制协议(TCP，Transmission Control Protocol)。业务服务器100可通过通信传输通道102将其采集到的日志数据发送给中心服务器101，保证传输数据的稳定性和可靠性。
应理解，图1中的业务服务器、通信传输通道和中心服务器的数目仅是示意性的。根据现实需要，可以是任意数量的业务服务器、通信传输通道和中心服务器。
下面将结合附图2至附图3，对本申请实施例提供的日志采集控制方法进行详细介绍。需要说明的是，本申请中提到的服务器可以是业务服务器，且与中心服务器有区别，业务服务器用于处理线上业务并采集在处理线上业务过程中产生的日志数据，中心服务器用于统一管理业务服务器上传的日志数据。
请参见图2，为本申请实施例提供了一种日志采集控制方法的流程示意图。
如图2所示，本申请实施例的所述方法可以包括以下步骤：
S201，监测服务器的处理器占用率。
其中，处理器占用率是指服务器在运行过程中占用的处理器资源，也可表明服务器在运行过程中的工作情况。处理器占用率越高表明服务器处理线上业务越频繁，服务器在处理较多的线上业务时，随之产生的日志数据也越多，故需要采集的日志数据也越多。
一般的，可通过监测服务器的处理器占用率，获知服务器的处理器被占用资源的情况，进而可知道服务器在一段时间内处理线上业务的频繁程度。如：终端上安装的业务应用程序在工作(处理核心业务)时，需要通过访问服务器来完成整个核心业务，此时可能会产生大量的请求，服务器需要对这些请求及时作出相应的处理，在服务器处理这些请求时会占用较多的处理器资源，同时也会产生较多的日志数据，而服务器中的Flume agent在采集这些日志数据时，也会占用较多的处理器资源。
可以基于预设时间间隔获取服务器中产生的事件Event数据，Event数据中可以包括服务器中的程序运行事件、服务器状态事件等数据，通过分析Event数据可得到服务器在预设时间间隔内的处理器占用率，进而可获知在该时间间隔内服务器的处理器处理线上业务是否繁忙。
S202，在处理器占用率大于或等于预设占用率阈值时，延长Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使Flume agent基于第二时间间隔采集日志数据。
其中，预设占用率阈值是指可由用户预先设置的占用率阈值，是可用于判定处理器在一段时间内处理线上业务频繁的标准，也即可基于当前处理器的占用率是否超过预设占用率阈值来确定处理器占用资源是否过多。Flume agent是部署在服务器中的日志采集代理，Flume agent可采用插件的方式增加其采集日志数据的类型、扩展采集功能以实现多种附加功能；服务器可基于Flume agent采集服务器在处理线上业务过程中产生的日志数据。第一时间间隔是指服务器的处理器在采集每一批次的日志数据的时间间隔，通常处理器在处理线上业务较频繁时，同时产生的日志数据的批次也多，在通常情况下服务器可能会基于日志数据的批次的多少来控制Flume agent采集日志数据的时间间隔，或服务器的Flume agent可基于预先设定的固定时间间隔来采集日志数据。第二时间间隔大于第一时间间隔，第二时间间隔可以是由管理员预先设置的时间间隔，也可以是基于当前处理器占用率来随机确定的时间间隔。
一般的，在确定处理器占用率大于或等于预设占用率阈值时，表明当前处理器正在处理大量的线上业务，占用的处理器资源较多。与此同时也会产生大量的日志数据，而实时采集这些日志数据通常也会占用较多的处理器资源。为减少处理器资源的占用，可通过控制Flume agent采集日志数据的时间间隔的方式，来控制Flume agent采集日志数据过程的处理器占用。
在一种可行的实施方式中，可通过预先设置需要延长的时间间隔的方式，在确定当前处理器占用率大于或等于预设占用率阈值时，将当前Flume agent采集日志数据的时间间隔延长预设时间间隔，也即使将当前Flume agent采集日志数据的第一时间间隔延长至第二时间间隔，第二时间间隔内的时长比第一时间间隔的时长多出预设时间间隔的时长，延长Flume agent采集日志数据的第一时间间隔，可有效降低Flume agent采集日志数据的频率，进而可减少处理器资源的占用。
在另一种可行的实施方式中，可根据当前的处理器占用率和当前Flume agent采集日志数据的第一时间间隔计算得到需要延迟的时长，基于该时长确定第二时间间隔，并将当前Flume agent采集日志数据的时间间隔设为第二时间间隔，以使Flume agent基于第二时间间隔采集日志数据，也即使Flume agent以较低的频率采集日志数据。
通过将Flume agent采集日志数据的时间间隔从第一时间间隔延长至第二时间间隔的方式，可有效减少在处理器处理大量线上业务时，Flume agent采集日志数据的处理器占用率，进而减小对处理器对处理线上业务的影响，保证线上业务运行的稳定性。
本申请实施例的方案在执行时，监测服务器的处理器占用率，在处理器占用率大于或等于预设占用率阈值时，延长Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使Flume agent基于第二时间间隔采集日志数据，在服务器的处理器占用率较高的情况下，通过延长Flume agent采集日志数据的时间间隔的方式，可有效降低采集日志数据过程中的处理器占用率，并确保服务器处理线上业务的稳定性。
请参见图3，为本申请实施例提供了一种日志采集控制方法的流程示意图。本实施例以日志采集控制方法应用于服务器中来举例说明。该日志采集控制方法可以包括以下步骤：
S301，接收由控制台发送的针对服务器中的日志采集代理Flume agent的配置数据。
其中，控制台是用于对各个服务器进行运维管理的设备，可以是用于运维的终端或服务器。控制台可对服务器的运行周期的各个节点进行运营与维护，可多多个服务器进行统一批量配置。配置数据用于更新Flume agent的配置文件中拦截器的配置，配置数据是指针对Flume agent中的拦截器Interceptor的设置数据，该配置数据可用于设置Interceptor对Flume agent采集日志数据的时段限制，配置后的Flume agent可对特定的应用程序进行监测(如：在线上教育的场景中，主要用到的是用于上课的应用程序，经过配置后的Flume agent可对主要对用于上课的应用程序进行监测)。Flume agent是部署在服务器中的日志采集代理，服务器可基于Flume agent采集服务器在处理线上业务过程中产生的日志数据。
一般的，需要事先通过运维系统对服务器的Flume agent进行配置，管理员可通过后台的控制台向服务器发送针对服务器中的日志采集代理Flume agent的配置数据。服务器基于该配置数据可对Flume agent对应的配置文件flume-conf.properties中增加拦截器Interceptor，使Interceptor可开启对Flume agent采集日志数据的监测功能。在服务器基于该配置数据对Flume agent进行配置时，可利用建造者builder方式进行配置。
S302，基于配置数据控制拦截器开启对Flume agent采集日志数据的时间间隔的监测操作。
其中，拦截器(Interceptor)可用于不同类别的性能监测，通常需要对拦截器进行设置后才能开启其相应的监测功能。
一般的，服务器在接收到由控制台发送的针对服务器中的日志采集代理Flumeagent的配置数据后，可通过建造者builder方式进行配置更新。服务器中的Flume agent在经过配置更新后，可开启拦截器Interceptor，使拦截器可对Flume agent采集日志数据的时间间隔进行监测。
S303，基于预设时间间隔获取服务器中产生的事件Event数据，并分析Event数据得到处理器占用率。
其中，事件数据是指服务器在运行过程中产生的各种事件的数据，事件数据可以包括程序运行事件、服务器状态事件等，通过事件数据可以获知服务器在运行过程中产生的所有事件的状态，具体可以是处理器运行状态、处理器占用状态、内存占用状态等。处理器占用率是指服务器在运行过程中占用的处理器资源，也可表明服务器在运行过程中的工作情况。处理器占用率越高表明服务器处理线上业务越频繁，服务器在处理较多的业务数据时，随之产生的日志数据越多，故需要采集的日志数据也越多。
一般的，可通过周期性的(基于预设时间间隔)获取服务器中产生的事件数据，由于事件数据中包括处理器运行状态和处理器占用状态，通过分析预设时间间隔内的事件数据可得到当前时间间隔内的处理器占用率。
S304，判断处理器占用率是否大于或等于预设占用率阈值。
其中，预设占用率阈值是指可由用户预先设置的占用率阈值，是可用于判定处理器在一段时间内处理线上业务频繁的标准，也即可基于当前处理器的占用率是否超过预设占用率阈值来确定处理器占用资源是否过多。
S305，在处理器占用率小于预设占用率阈值时，将通过Flume agent采集到的日志数据发送给中心服务器。
其中，日志数据是指计算机操作系统或应用软件在运行过程中产生的各种数据，收集日志数据便于后续系统维护，如：用户名、用户执行的程序名、日期、时间等，对日志数据进行分类等处理可得到日志文件，并以“*.log”结尾，便于后续系统出故障时可有据可查。中心服务器是用于收集各个业务服务器上传的日志数据的日志存储服务器，各个业务服务器通过各自的日志采集代理采集到的日志数据均需要上传到中心服务器中进行统一管理。
一般的，在确定当前的处理器占用率小于预设占用率阈值时，表明服务器当前处理线上业务较少，处理器资源占用较少，可通过Flume agent正常采集日志数据，并及时将通过Flume agent采集到的日志数据发送给中心服务器，便于中心服务器对日志数据进行统一管理和存储。
S306，在处理器占用率大于或等于预设占用率阈值时，通过Flume agent中的拦截器获取Flume agent采集日志数据的第一时间间隔。
其中，第一时间间隔是指服务器的处理器在采集每一批次的日志数据的时间间隔，通常处理器在处理线上业务较频繁时，同时产生的日志数据的批次也多，在通常情况下服务器可能会基于日志数据的批次的多少来控制Flume agent采集日志数据的时间间隔，或服务器的Flume agent可基于预先设定的固定时间间隔来采集日志数据。
一般的，在确定当前的处理器占用率大于或等于预设占用率阈值时，表明服务器当前处理线上业务较多，处理器资源占用较多。此时，也会随之产生大量的待采集日志数据，而采集日志数据也会占用大量的处理器资源，容易影响服务器处理线上业务的稳定性。由于，日志数据是分批次进行采集的，故可通过对Flume agent采集日志数据的时间间隔进行控制的方式，限制当前Flume agent采集日志数据的频率。
S307，根据处理器占用率和第一时间间隔确定第二时间间隔。
其中，第二时间间隔大于第一时间间隔，第二时间间隔可以是由管理员预先设置的时间间隔，也可以是基于当前处理器占用率来随机确定的时间间隔。
一般的，可根据当前的处理器占用率和当前Flume agent采集日志数据的第一时间间隔计算得到需要延迟的时长，基于该时长确定第二时间间隔，并将当前Flume agent采集日志数据的时间间隔延长至第二时间间隔，以使Flume agent基于第二时间间隔采集日志数据，也即使Flume agent以较低的频率采集日志数据。
S308，延长Flume agent采集日志数据的第一时间间隔至第二时间间隔。
一般的，第二时间间隔大于第一时间间隔，将Flume agent采集日志数据的第一时间间隔延长至第二时间间隔，即降低Flume agent采集日志数据的采集频率，也相当于出让通过Flume agent采集日志数据的时间片，由此减少采集日志数据过程中对处理器资源的占用，减少对线上业务稳定性的影响。
S309，在日志数据对应的数据量大于或等于预设数据量时，对日志数据进行归类处理得到日志文件。
其中，数据量是指日志数据记录的条数，预设数据量是指可预先设置的日志数据记录条数的最大阈值。日志文件是指记录服务器在工作过程中各种服务运行消息的文件，通过查看服务的日志文件就可获知服务器具体的运行情况，可对日志数据进行分类、归纳处理得到日志文件。
一般的，在服务器的处理器占用率超过预设占用率阈值时，表明服务器此时处理线上业务较多，需要占用大量的处理器资源。此时，也会随着线上业务的增多而产生大量的日志数据，可通过延长Flume agent采集日志数据的时间间隔的方式，使Flume agent以较低的频率采集日志数据，并将此时采集到的日志数据进行归类处理后写入服务器对应的本地磁盘中。在写入本地磁盘之前，可对所采集的超过预设数据量的日志数据进行归类处理后得到日志文件，便于后续对日志数据的保存和管理。
S310，将日志文件进行压缩处理后写入服务器对应的磁盘中。
一般的，在服务器处理的线上业务较多的时候，存储日志数据容易造成处理器和内存的处理压力，故可通过对进行归类处理后的日志文件进行压缩处理的方式，减小处理器资源的占用以及内存的占用。
S311，在监测到服务器的处理器占用率小于预设占用率阈值时，将磁盘中的日志数据发送给中心服务器。
一般的，在监测到当前的处理器占用率小于预设占用率阈值时，表明服务器当前处理线上业务较少，处理器资源占用较少，故在此时将先前存储在本地磁盘中的日志数据发送给中心服务器。同时，服务器可通过Flume agent正常采集日志数据，并及时将通过Flume agent采集到的日志数据发送给中心服务器，便于中心服务器对日志数据进行统一管理和存储。
本申请实施例的方案在执行时，服务器接收由控制台发送的针对服务器中的日志采集代理Flume agent的配置数据，基于配置数据控制拦截器开启对Flume agent采集日志数据的时间间隔的监测操作，基于预设时间间隔获取服务器中产生的事件Event数据，并分析Event数据得到处理器占用率，判断处理器占用率是否大于或等于预设占用率阈值，在处理器占用率小于预设占用率阈值时，将通过Flume agent采集到的日志数据发送给中心服务器，在处理器占用率大于或等于预设占用率阈值时，通过Flume agent中的拦截器获取Flume agent采集日志数据的第一时间间隔，根据处理器占用率和第一时间间隔确定第二时间间隔，延长Flume agent采集日志数据的第一时间间隔至第二时间间隔，在日志数据对应的数据量大于或等于预设数据量时，对日志数据进行归类处理得到日志文件，将日志文件进行压缩处理后写入服务器对应的磁盘中，在监测到服务器的处理器占用率小于预设占用率阈值时，将磁盘中的日志数据发送给中心服务器。在服务器的处理器占用率较高的情况下，通过延长Flume agent采集日志数据的时间间隔的方式，可有效降低采集日志数据过程中的处理器占用率，并将在此期间采集到的日志数据存储到本地磁盘中，暂时不进行上传操作，进一步减少处理器的占用，并确保服务器处理线上业务的稳定性。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图4，其示出了本申请一个示例性实施例提供的日志采集控制装置的结构示意图。以下简称装置4，装置4可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。装置4包括监测模块401和处理模块402。
监测模块401，用于监测所述服务器的处理器占用率；
处理模块402，用于在所述处理器占用率大于或等于预设占用率阈值时，延长所述Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使所述Flume agent基于所述第二时间间隔采集所述日志数据。
可选地，所述装置4还包括：
接收模块，用于接收由控制台发送的针对所述服务器中的日志采集代理Flumeagent的配置数据；其中，所述配置数据用于更新所述Flume agent的配置文件中拦截器的配置；
开启模块，用于基于所述配置数据控制所述拦截器开启对所述Flume agent采集日志数据的时间间隔的监测操作。
可选地，所述监测模块401包括：
第一获取单元，用于基于预设时间间隔获取所述服务器中产生的事件Event数据；
分析单元，用于分析所述Event数据得到所述处理器占用率。
可选地，所述处理模块402包括：
第二获取单元，用于通过所述Flume agent中的拦截器获取所述Flume agent采集日志数据的第一时间间隔；
确定单元，用于根据所述处理器占用率和所述第一时间间隔确定所述第二时间间隔；
延长单元，用于延长所述Flume agent采集日志数据的所述第一时间间隔至所述第二时间间隔。
可选地，所述装置4还包括：
写入模块，用于将通过所述Flume agent采集到的日志数据写入所述服务器对应的磁盘中；
第一发送模块，用于在监测到所述服务器的处理器占用率小于所述预设占用率阈值时，将所述磁盘中的日志数据发送给中心服务器；其中，所述中心服务器用于管理所述部署有Flume agent的服务器上传的日志数据。
可选地，所述装置4还包括：
归类模块，用于在所述日志数据对应的数据量大于或等于预设数据量时，对所述日志数据进行归类处理得到日志文件；
压缩模块，用于将所述日志文件进行压缩处理后写入所述服务器对应的磁盘中。
可选地，所述装置4还包括：
第二发送模块，用于在所述处理器占用率小于预设占用率阈值时，将通过所述Flume agent采集到的日志数据发送给中心服务器。
需要说明的是，上述实施例提供的装置4在执行日志采集控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的日志采集控制方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2～图3所示实施例的方法步骤，具体执行过程可以参见图2～图3所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的日志采集控制方法。
图5为本申请实施例提供的一种日志采集控制装置结构示意图，以下简称装置5，装置5可以集成于前述服务器或终端中。如图5所示，该装置包括：存储器502、处理器501、输入装置503、输出装置504和通信接口。
存储器502可以是独立的物理单元，与处理器501、输入装置503和输出装置504可以通过总线连接。存储器502、处理器501、输入装置503和输出装置504也可以集成在一起，通过硬件实现等。
存储器502用于存储实现以上方法实施例，或者装置实施例各个模块的程序，处理器501调用该程序，执行以上方法实施例的操作。
输入装置502包括但不限于键盘、鼠标、触摸面板、摄像头和麦克风；输出装置包括但限于显示屏。
通信接口用于收发各种类型的消息，通信接口包括但不限于无线接口或有线接口。
可选地，当上述实施例的日志采集控制方法中的部分或全部通过软件实现时，装置也可以只包括处理器。用于存储程序的存储器位于装置之外，处理器通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。
处理器可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。
处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器可以包括易失性存储器(volatile memory)，例如存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的日志采集控制方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
Claims (7)
1.一种日志采集控制方法，其特征在于，所述方法应用于部署有日志采集代理Flumeagent的服务器，所述方法包括：
监测所述服务器的处理器占用率；
在所述处理器占用率大于或等于预设占用率阈值时，延长所述Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使所述Flume agent基于所述第二时间间隔采集所述日志数据；
所述监测所述服务器的处理器占用率之前，还包括：
接收由控制台发送的针对所述服务器中的日志采集代理Flume agent的配置数据；其中，所述配置数据用于更新所述Flume agent的配置文件中拦截器的配置；
基于所述配置数据控制所述拦截器开启对所述Flume agent采集日志数据的时间间隔的监测操作；
所述监测所述服务器的处理器占用率，包括：
基于预设时间间隔获取所述服务器中产生的事件Event数据；
分析所述Event数据得到所述处理器占用率；
所述延长所述Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使所述Flume agent基于所述第二时间间隔采集所述日志数据，包括：
通过所述Flume agent中的拦截器获取所述Flume agent采集日志数据的第一时间间隔；
根据所述处理器占用率和所述第一时间间隔确定所述第二时间间隔；
延长所述Flume agent采集日志数据的所述第一时间间隔至所述第二时间间隔。
2.根据权利要求1所述的方法，其特征在于，所述延长所述Flume agent采集日志数据的第一时间间隔至第二时间间隔，以使所述Flume agent基于所述第二时间间隔采集所述日志数据之后，还包括：
将通过所述Flume agent采集到的日志数据写入所述服务器对应的磁盘中；
在监测到所述服务器的处理器占用率小于所述预设占用率阈值时，将所述磁盘中的日志数据发送给中心服务器；其中，所述中心服务器用于管理所述部署有Flume agent的服务器上传的日志数据。
3.根据权利要求2所述的方法，其特征在于，所述将通过所述Flume agent采集到的日志数据写入所述服务器对应的磁盘中，包括：
在所述日志数据对应的数据量大于或等于预设数据量时，对所述日志数据进行归类处理得到日志文件；
将所述日志文件进行压缩处理后写入所述服务器对应的磁盘中。
4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
在所述处理器占用率小于预设占用率阈值时，将通过所述Flume agent采集到的日志数据发送给中心服务器。
5.一种日志采集控制装置，其特征在于，所述装置应用于部署有日志采集代理Flumeagent的服务器，所述装置包括：
监测模块，用于监测所述服务器的处理器占用率；
处理模块，用于在所述处理器占用率大于或等于预设占用率阈值时，延长所述Flumeagent采集日志数据的第一时间间隔至第二时间间隔，以使所述Flume agent基于所述第二时间间隔采集所述日志数据；
所述装置还包括：接收模块，用于接收由控制台发送的针对所述服务器中的日志采集代理Flume agent的配置数据；其中，所述配置数据用于更新所述Flume agent的配置文件中拦截器的配置；
开启模块，用于基于所述配置数据控制所述拦截器开启对所述Flume agent采集日志数据的时间间隔的监测操作；
所述监测模块包括：
第一获取单元，用于基于预设时间间隔获取所述服务器中产生的事件Event数据；
分析单元，用于分析所述Event数据得到所述处理器占用率；
所述处理模块包括：
第二获取单元，用于通过所述Flume agent中的拦截器获取所述Flume agent采集日志数据的第一时间间隔；
确定单元，用于根据所述处理器占用率和所述第一时间间隔确定所述第二时间间隔；
延长单元，用于延长所述Flume agent采集日志数据的所述第一时间间隔至所述第二时间间隔。
6.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1~4任意一项的方法步骤。
7.一种服务器，其特征在于，包括：处理器、存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1~4任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110292102.5A CN112988679B (zh) | 2021-03-18 | 2021-03-18 | 日志采集控制方法、装置、存储介质及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110292102.5A CN112988679B (zh) | 2021-03-18 | 2021-03-18 | 日志采集控制方法、装置、存储介质及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112988679A CN112988679A (zh) | 2021-06-18 |
| CN112988679B true CN112988679B (zh) | 2024-04-12 |
Family
ID=76333754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110292102.5A Active CN112988679B (zh) | 2021-03-18 | 2021-03-18 | 日志采集控制方法、装置、存储介质及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112988679B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113746665B (zh) * | 2021-07-29 | 2022-04-15 | 深圳市明源云科技有限公司 | 日志数据处理方法、装置及存储介质 |
| CN114576840B (zh) * | 2021-11-25 | 2023-06-23 | 珠海格力电器股份有限公司 | 基于wifi信道状态检测进行关机的方法、电子设备和介质 |
| CN115437881B (zh) * | 2022-08-25 | 2023-03-28 | 北京万里开源软件有限公司 | 一种基于用户态文件系统的数据库进程异常处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001188746A (ja) * | 1999-10-22 | 2001-07-10 | Ricoh Co Ltd | 情報処理装置及び情報処理システム |
| CN106470123A (zh) * | 2016-09-29 | 2017-03-01 | 北京三快在线科技有限公司 | 日志收集方法、客户端、服务器和电子设备 |
| CN106777371A (zh) * | 2017-01-23 | 2017-05-31 | 北京齐尔布莱特科技有限公司 | 日志收集系统和方法 |
| CN111813621A (zh) * | 2020-06-23 | 2020-10-23 | 中国平安财产保险股份有限公司 | 基于Flume数据中台的数据处理方法、装置、设备及介质 |
-
2021
- 2021-03-18 CN CN202110292102.5A patent/CN112988679B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001188746A (ja) * | 1999-10-22 | 2001-07-10 | Ricoh Co Ltd | 情報処理装置及び情報処理システム |
| CN106470123A (zh) * | 2016-09-29 | 2017-03-01 | 北京三快在线科技有限公司 | 日志收集方法、客户端、服务器和电子设备 |
| CN106777371A (zh) * | 2017-01-23 | 2017-05-31 | 北京齐尔布莱特科技有限公司 | 日志收集系统和方法 |
| CN111813621A (zh) * | 2020-06-23 | 2020-10-23 | 中国平安财产保险股份有限公司 | 基于Flume数据中台的数据处理方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Flume的分布式日志采集分析系统设计与实现;陈飞;艾中良;;软件;20161215(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112988679A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112988679B (zh) | 日志采集控制方法、装置、存储介质及服务器 | |
| CN107370806B (zh) | Http状态码监控方法、装置、存储介质和电子设备 | |
| CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN112751729A (zh) | 日志监控方法、装置、介质及电子设备 | |
| CN111522786A (zh) | 日志处理系统及方法 | |
| CN113422808B (zh) | 物联网平台http信息推送方法、系统、装置及介质 | |
| CN113746883B (zh) | 链路跟踪方法及系统 | |
| CN112395357A (zh) | 一种数据收集方法、装置和电子设备 | |
| CN102546652B (zh) | 一种服务器负载平衡系统及方法 | |
| CN109284257B (zh) | 一种日志写入方法、装置、电子设备及存储介质 | |
| CN116521639A (zh) | 一种日志数据的处理方法、电子设备和计算机可读介质 | |
| JP2004178336A (ja) | 運用管理システム、管理計算機、監視対象計算機、運用管理方法及びプログラム | |
| CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
| CN114020214A (zh) | 存储集群的扩容方法、装置、电子设备及可读存储介质 | |
| CN115964348A (zh) | 日志数据处理方法及装置、存储介质及电子终端 | |
| CN113157475A (zh) | 日志处理方法、装置、存储介质及电子设备 | |
| CN117389841B (zh) | 加速器资源监控方法、装置、集群设备及存储介质 | |
| CN115396319B (zh) | 数据流分片方法、装置、设备及存储介质 | |
| CN115022094B (zh) | 一种便于了解单位内部计算机使用情况的监控系统 | |
| KR102656541B1 (ko) | 로그 타입별 분산 방식을 활용한 대용량 로그 데이터 분석 장치, 방법 및 프로그램 | |
| US11416187B2 (en) | Information processing system, information processing apparatus, and non-transitory computer readable medium | |
| CN108449343B (zh) | Ssh协议文本数据采集方法、采集器及计算机设备 | |
| CN116032738A (zh) | 分布式日志的采集、存储方法及系统 | |
| CN117743425A (zh) | 一种用于电力系统的实时业务数据处理方法、装置及介质 | |
| CN116541190A (zh) | 分布式集群的性能测试方法及系统、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |