CN114598731A - 集群日志采集方法、装置、设备及存储介质 - Google Patents
集群日志采集方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114598731A CN114598731A CN202210255636.5A CN202210255636A CN114598731A CN 114598731 A CN114598731 A CN 114598731A CN 202210255636 A CN202210255636 A CN 202210255636A CN 114598731 A CN114598731 A CN 114598731A
- Authority
- CN
- China
- Prior art keywords
- log
- acquisition
- node
- agent
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008569 process Effects 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 abstract description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 abstract description 2
- 239000003795 chemical substances by application Substances 0.000 description 90
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及基架运维技术，揭露了一种集群日志采集方法，包括：利用第一种采集方式在集群中的每个节点部署第一日志代理；利用第一日志代理采集每个所述节点的日志，并获取日志的采集速度；获取日志对应的日志量，在日志量小于第一预设阈值且采集速度大于第二预设阈值时，继续利用第一日志代理采集每个所述节点的日志；满足日志量大于第一预设阈值以及采集速度小于第二预设阈值中至少一个条件时，根据日志检测集群中日志的采集进度；利用第二种采集方式，根据采集进度在集群中的每个节点部署第二日志代理，并利用第二日志代理采集所述每个节点的日志。本发明还提出一种集群日志采集装置、设备以及介质。本发明可以提高集群日志采集的效率。
Description
技术领域
本发明涉及基架运维技术领域，尤其涉及一种集群日志采集方法、装置、电子设备及计算机可读存储介质。
背景技术
日志采集分析是集群系统工作中的重要一环，可以记录详细的访问请求以及错误信息，非常利于问题的定位。业界许多日志系统都会使用DaemonSet、Sidecar等采集方式来应对集群在不同情况下的日志采集。其中，DaemonSet方式相对资源占用要小很多，但扩展性、租户隔离性受限，比较适用于功能单一或业务不是很多的集群；Sidecar方式相对资源占用较多，但灵活性以及多隔离性较强，比较适合于大型的集群。
然而，现实中的集群往往不是一步就成长到大型的集群，是由一个小集群一步步成长到大型的集群。集群日志的数据量也是一步步的增多，这就导致了在前期还处于小集群的时候，使用DaemonSet方式更简单高效，当日志数据量一步步增多DaemonSet方式速度不够来不及采集日志的时候，使用Sidecar方式更合适。因此，如今集群系统日志采集工作面临着由于集群日志的数据量不确定而导致的日志采集方式不灵活，进而集群日志采集的效率低。
发明内容
本发明提供一种集群日志采集方法、装置及计算机可读存储介质，其主要目的在于解决集群日志采集的效率低的问题。
为实现上述目的，本发明提供的一种集群日志采集方法，包括：
利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
利用所述第一日志代理采集每个所述节点的日志，并获取所述日志的采集速度；
获取所述日志对应的日志量，判断所述日志量是否小于第一预设阈值以及所述采集速度是否大于第二预设阈值；
若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，则返回所述利用所述第一日志代理采集每个所述节点的日志，根据所述日志计算得到采集速度的步骤；
若满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，则根据所述日志检测所述集群中日志的采集进度；
利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，并利用所述第二日志代理采集所述每个节点的日志。可选地，所述利用预设的第一种采集方式在集群中的每个节点部署第一日志代理，包括：
分别对每个所述节点配置一个容器组，从所述节点中选取一个节点的容器组作为目标容器组；
获取所述目标容器组的IP地址；
在预设的代理配置中心中选取日志代理作为第一日志代理，并在所述第一日志代理中添加所述IP地址；
提取所述第一日志代理，得到第一日志代理文件；
将所述第一日志代理文件上传至所述目标容器组对应的节点中。
可选地，所述利用所述第一日志代理采集每个所述节点的日志，包括：
根据所述节点以及对应的容器组配置采集路径；
将所述采集路径和预设的拆分规则组合为采集信息；
利用所述第一日志代理根据所述采集信息采集日志。
可选地，所述利用所述第一日志代理根据所述采集信息采集日志，包括：
获取查看命令，所述第一日志代理根据所述查看命令查看所述容器组的运行进程；
根据预设的正则表达式从所述运行进程中解析得到目标进程；
根据所述目标进程从所述采集信息中提取目标采集路径，并根据所述目标采集路径从所述采集信息中提取对应的拆分规则；
通过预设的文件流方式获取所述目标采集路径下的日志文件；
根据所述对应的拆分规则拆分所述日志文件，得到所述日志。
可选地，所述根据所述日志检测所述集群中日志的采集进度，包括：
遍历所述集群中的每一个节点，并提取所述每一个节点对应的容器组中每一个容器进程的结束符；
在所述日志中检索所述结束符；
若检索到所述结束符，则确定所述结束符对应的节点的采集进度为采集完成；
若检索不到所述结束符，则根据所述日志确定所述结束符对应的节点的采集截止位置，并根据所述采集截止位置确定所述节点对应的采集进度。
可选地，所述利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，包括：
确定采集进度为采集完成的节点为第一节点，除采集进度为采集完成以外的节点为第二节点；
在所述第一节点中部署一个第二日志代理；
提取所述第二节点中的容器，并将所述容器部署为多个容器组；
根据多个所述容器组分别配置第二日志代理。
可选地，所述利用所述第二日志代理采集所述每个节点的日志，包括：
利用所述第一节点中的第二日志代理监测第一节点中的进程，并根据监测结果采集日志；
提取所述第二节点中的第二日志代理所对应的容器的采集进度；
利用所述第二节点中的第二日志代理根据所述采集进度继续进行日志采集。
为了解决上述问题，本发明还提供一种集群日志采集装置，所述装置包括：
第一日志代理部署模块，用于利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
采集方式切换模块，用于获取所述日志的采集速度；获取所述日志对应的日志量，在满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，根据所述日志检测所述集群中日志的采集进度；
第二日志代理部署模块，用于利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理；
日志采集模块，用于利用所述第一日志代理采集每个所述节点的日志，以及利用所述第二日志代理采集所述每个节点的日志。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的集群日志采集方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的集群日志采集方法。
本发明实施例通过第一采集方式和第二采集方式这两种方式结合对日志进行采集，通过考虑两种采集方式性能来对采集情况进行监控，即根据采集速度和日志量进行判断，进而确定切换采集方式，使数据采集方式更加灵活，提高日志采集的效率；通过对第一种方式采集进度的确定，进一步衔接第二种采集方式采集日志，最终实现高效率的采集集群日志。因此本发明提出的集群日志采集方法、装置、电子设备及计算机可读存储介质，可以解决集群日志采集的效率低的问题。
附图说明
图1为本发明一实施例提供的集群日志采集方法的流程示意图；
图2为本发明一实施例提供的部署第一日志代理的流程示意图；
图3为本发明一实施例提供的采集每个所述节点的日志的流程示意图；
图4为本发明一实施例提供的集群日志采集装置的功能模块图；
图5为本发明一实施例提供的实现所述集群日志采集方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种集群日志采集方法。所述集群日志采集方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述集群日志采集方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的集群日志采集方法的流程示意图。在本实施例中，所述集群日志采集方法包括：
S1、利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
本发明实施例中，集群中包含了多个节点，所述集群可以为一组计算机，所述节点即为一个计算机系统。
本发明实施例中，所述第一种采集方式可以为DeamonSet方式，所述第一日志代理即为通过DeamonSet方式部署的日志代理，所述日志代理(日志agent)为部署于服务器内部的进程，具有作为日志数据的传输通道的作用，日志代理通过主动提取的方式获取日志数据；所述DaemonSet方式在集群中的每个节点(node)上只运行一个日志代理，利用该日志代理采集对应节点上所有的日志。
本发明实施例中，请参阅图2所示，所述利用预设的第一种采集方式在集群中的每个节点部署第一日志代理，包括：
S11、分别对每个所述节点配置一个容器组，从所述节点中选取一个节点的容器组作为目标容器组；
S12、获取所述目标容器组的IP地址；
S13、在预设的代理配置中心中选取日志代理作为第一日志代理，并在所述第一日志代理中添加所述IP地址；
S14、提取所述第一日志代理，得到第一日志代理文件；
S15、将所述第一日志代理文件上传至所述目标容器组对应的节点中。
本发明实施例中，通过在代理配置中心配置容器组对应的IP地址，以及在该容器组对应的节点中上传日志代理文件，即完成了节点上第一日志代理的部署。
S2、利用所述第一日志代理采集每个所述节点的日志，计算得到所述日志的采集速度；
本发明实施例中，请参阅图2所示，所述利用所述第一日志代理采集每个所述节点的日志，包括：
S21、根据所述节点以及对应的容器组配置采集路径；
S22、将所述采集路径和预设的拆分规则组合为采集信息；
S23、利用所述第一日志代理根据所述采集信息采集日志。
进一步地，所述利用所述第一日志代理根据所述采集信息采集日志，包括：
获取查看命令，所述第一日志代理根据所述查看命令查看所述容器组的运行进程；
根据预设的正则表达式从所述运行进程中解析得到目标进程；
根据所述目标进程从所述采集信息中提取目标采集路径，并根据所述目标采集路径从所述采集信息中提取对应的拆分规则；
通过预设的文件流方式获取所述目标采集路径下的日志文件；
根据所述对应的拆分规则拆分所述日志文件，得到所述日志。
本发明实施例中，所述查看指令可以为docker top命令，第一日志代理使用docker top命令查看容器中运行的进程信息，并根据正则表达式从进程信息中解析目标进程；由于系统日志可能为多行日志、日志中包含错误堆栈信息等，通过正则表达式进行解析，可以获得整理后有效的进程信息。
本发明实施例中，所述拆分规则包括但不限于split分割、awk分割、head+tail分割。
例如，使用cd命令进入节点下目标进程下的日志采集路径，即进入节点的/proc/{pid}/{采集路径}，通过读取文件流的方式获取日志采集路径下的日志文件；其中，proc为节点的虚拟文件系统，{pid}为目标进程，{采集路径}为拉取到的日志采集路径。
本发明一可选实施例中，拆分后的日志可以通过socket协议发送给预构建的日志采集中心。
本发明实施例中，所述获取所述日志的采集速度可以通过提取系统运行过程中实时的传输速度，日志采集会存在速度较快的情况，因此也可以提取不同区段日志/预设时间的平均传输速率。例如，上一个5s时间内在日志采集速度为10M/s。
S3、获取所述日志对应的日志量，判断所述日志量是否小于第一预设阈值以及所述采集速度是否大于第二预设阈值；
本发明实施例中，日志采集后可以存储至预构建的日志采集中心，进而可以通过提取日志采集中心在日志传输期间的数据量，即可获取所述日志对应的日志量。
本发明实施例中，通过分别将日志量和所述采集速度与第一预设阈值和第二预设阈值进行数值比较来判断是否小于第一预设阈值和大于第二预设阈值。其中，所述第一预设阈值可以为内存限制，所述第二预设阈值可以为采集速度限制。
例如，假设日志量为30G，采集速度为10M/s，第一预设阈值中的数据量限制为32G，第二预设阈值中的采集速度限制为20M/s；因此所述日志量小于第一预设阈值，所述采集速度大于第二预设阈值。
若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，则返回上述的S1；
本发明实施例中，当若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，时，说明第一日志代理采集日志在采集标准之内，无需更换采集方式，即可以继续使用第一日志代理采集每一个节点的日志。
若满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，则执行S4、根据所述日志检测所述集群中日志的采集进度；
本发明实施例中，所述满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件包括三种情况：第一种情况、所述日志量小于第一预设阈值但所述采集速度小于第二预设阈值；第二种情况、所述日志量大于第一预设阈值但所述采集速度大于第二预设阈值；第三种情况、所述日志量大于第一预设阈值且所述采集速度小于第二预设阈值。
具体地，本发明实施例中，在第一种情况时，说明采集速度未达到预设采集速度要求，第一日志代理采集日志不在采集标准之内，需要更换采集方式采集每一个节点的日志；在第一种情况时，说明日志量超过预设日志量要求，第一日志代理采集日志不在采集标准之内，需要更换采集方式采集每一个节点的日志；在第三种情况时，说明日志量超过预设日志量要求以及采集速度未达到预设采集速度要求，第一日志代理采集日志不在采集标准之内，需要更换采集方式采集每一个节点的日志。
本发明实施例中，所述根据所述日志检测所述集群中日志的采集进度，包括：
遍历所述集群中的每一个节点，并提取所述每一个节点对应的容器组中每一个容器进程的结束符；
在所述日志中检索所述结束符；
若检索到所述结束符，则确定所述结束符对应的节点的采集进度为采集完成；
若检索不到所述结束符，则根据所述日志确定所述结束符对应的节点的采集截止位置，并根据所述采集截止位置确定所述节点对应的采集进度。
本发明实施例中，由于每一个节点需要采集的日志量是不同的，因此需要检测集群中每一个节点日志的采集进度，进而衔接第二种采集方式继续采集日志。
S5、利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，并利用所述第二日志代理采集所述每个节点的日志。
本发明实施例中，所述第二种采集方式可以为Sidecar方式，所述第二日志代理即为通过Sidecar方式部署的日志代理；在所述Sidecar方式中集群中的每个节点可以存在多个容器组，所述Sidecar方式在集群中的每个节点(node)中每一个容器组(pod)分别部署日志代理，该日志代理只对应负责一个业务应用(容器组)的日志采集，即在每个节点可以存在与容器组数量相当的日志代理。
本发明实施例中，所述利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，包括：
确定采集进度为采集完成的节点为第一节点，除采集进度为采集完成以外的节点为第二节点；
在所述第一节点中部署一个第二日志代理；
提取所述第二节点中的容器，并将所述容器部署为多个容器组；
根据多个所述容器组分别配置第二日志代理。
本发明实施例中，在采集完成的节点中，只需要部署一个日志代理用于监测节点的进程；在未采集完成的节点中，则需要根据容器进行重新部署，首先得到多个容器组，在针对该多个容器组配置对应的日志代理。
进一步地，本发明实施例中所述在采集进度为采集完成的节点部署一个第二日志代理以及根据多个所述容器组分别配置第二日志代理的步骤与上述S1中利用预设的第一种采集方式在集群中的每个节点部署第一日志代理的步骤相似，在此不过多赘述。
本发明实施例中，所述利用所述第二日志代理采集所述每个节点的日志，包括：
利用所述第一节点中的第二日志代理监测第一节点中的进程，并根据监测结果采集日志；
提取所述第二节点中的第二日志代理所对应的容器的采集进度；
利用所述第二节点中的第二日志代理根据所述采集进度继续进行日志采集。
本发明实施例中，所述利用所述第二节点中的第二日志代理根据所述采集进度继续进行日志采集的步骤与上述S2中利用所述第一日志代理采集每个所述节点的日志的步骤相似，在此不过多赘述。
进一步地，所述根据监测结果采集日志，包括：
判断所述监测结果中是否产生进程变动；
若所述监测结果中未产生进程变动，则停止采集日志；
若所述监测结果中产生进程变动，则继续采集第一节点的日志。
本发明实施例中，在利用第一种方式采集完成的节点中，后续更改采集方式后，仍然可能产生新的业务内容以及对应的日志，因此监测结果可能会出现变动，即在变动后需要继续进行日志的采集。
本发明实施例通过第一采集方式和第二采集方式这两种方式结合对日志进行采集，通过考虑两种采集方式性能来对采集情况进行监控，即根据采集速度和日志量进行判断，进而确定切换采集方式，使数据采集方式更加灵活，提高日志采集的效率；通过对第一种方式采集进度的确定，进一步衔接第二种采集方式采集日志，最终实现高效率的采集集群日志。因此本发明提出的集群日志采集方法，可以解决集群日志采集的效率低的问题。
如图4所示，是本发明一实施例提供的集群日志采集装置的功能模块图。
本发明所述集群日志采集装置100可以安装于电子设备中。根据实现的功能，所述集群日志采集装置100可以包括第一日志代理部署模块101、采集方式切换模块102、第二日志代理部署模块103及日志采集模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述第一日志代理部署模块101，用于利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
所述采集方式切换模块102，用于获取所述日志的采集速度；获取所述日志对应的日志量，在满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，根据所述日志检测所述集群中日志的采集进度；
所述第二日志代理部署模块103，用于利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理；
所述日志采集模块104，用于利用所述第一日志代理采集每个所述节点的日志，以及利用所述第二日志代理采集所述每个节点的日志。
详细地，本发明实施例中所述集群日志采集装置100中所述的各模块在使用时采用与上述图1至图3中所述的集群日志采集方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现集群日志采集方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如集群日志采集程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行集群日志采集程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如集群日志采集程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的集群日志采集程序是多个指令的组合，在所述处理器10中运行时，可以实现：
利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
利用所述第一日志代理采集每个所述节点的日志，并获取所述日志的采集速度；
获取所述日志对应的日志量，判断所述日志量是否小于第一预设阈值以及所述采集速度是否大于第二预设阈值；
若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，则返回所述利用所述第一日志代理采集每个所述节点的日志，根据所述日志计算得到采集速度的步骤；
若满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，则根据所述日志检测所述集群中日志的采集进度；
利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，并利用所述第二日志代理采集所述每个节点的日志。具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
利用所述第一日志代理采集每个所述节点的日志，并获取所述日志的采集速度；
获取所述日志对应的日志量，判断所述日志量是否小于第一预设阈值以及所述采集速度是否大于第二预设阈值；
若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，则返回所述利用所述第一日志代理采集每个所述节点的日志，根据所述日志计算得到采集速度的步骤；
若满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，则根据所述日志检测所述集群中日志的采集进度；
利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，并利用所述第二日志代理采集所述每个节点的日志。在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种集群日志采集方法，其特征在于，所述方法包括：
利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
利用所述第一日志代理采集每个所述节点的日志，并获取所述日志的采集速度；
获取所述日志对应的日志量，判断所述日志量是否小于第一预设阈值以及所述采集速度是否大于第二预设阈值；
若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，则返回所述利用所述第一日志代理采集每个所述节点的日志，根据所述日志计算得到采集速度的步骤；
若满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，则根据所述日志检测所述集群中日志的采集进度；
利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，并利用所述第二日志代理采集所述每个节点的日志。
2.如权利要求1所述的集群日志采集方法，其特征在于，所述利用预设的第一种采集方式在集群中的每个节点部署第一日志代理，包括：
分别对每个所述节点配置一个容器组，从所述节点中选取一个节点的容器组作为目标容器组；
获取所述目标容器组的IP地址；
在预设的代理配置中心中选取日志代理作为第一日志代理，并在所述第一日志代理中添加所述IP地址；
提取所述第一日志代理，得到第一日志代理文件；
将所述第一日志代理文件上传至所述目标容器组对应的节点中。
3.如权利要求2所述的集群日志采集方法，其特征在于，所述利用所述第一日志代理采集每个所述节点的日志，包括：
根据所述节点以及对应的容器组配置采集路径；
将所述采集路径和预设的拆分规则组合为采集信息；
利用所述第一日志代理根据所述采集信息采集日志。
4.如权利要求3所述的集群日志采集方法，其特征在于，所述利用所述第一日志代理根据所述采集信息采集日志，包括：
获取查看命令，所述第一日志代理根据所述查看命令查看所述容器组的运行进程；
根据预设的正则表达式从所述运行进程中解析得到目标进程；
根据所述目标进程从所述采集信息中提取目标采集路径，并根据所述目标采集路径从所述采集信息中提取对应的拆分规则；
通过预设的文件流方式获取所述目标采集路径下的日志文件；
根据所述对应的拆分规则拆分所述日志文件，得到所述日志。
5.如权利要求2所述的集群日志采集方法，其特征在于，所述根据所述日志检测所述集群中日志的采集进度，包括：
遍历所述集群中的每一个节点，并提取所述每一个节点对应的容器组中每一个容器进程的结束符；
在所述日志中检索所述结束符；
若检索到所述结束符，则确定所述结束符对应的节点的采集进度为采集完成；
若检索不到所述结束符，则根据所述日志确定所述结束符对应的节点的采集截止位置，并根据所述采集截止位置确定所述节点对应的采集进度。
6.如权利要求2所述的集群日志采集方法，其特征在于，所述利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，包括：
确定采集进度为采集完成的节点为第一节点，除采集进度为采集完成以外的节点为第二节点；
在所述第一节点中部署一个第二日志代理；
提取所述第二节点中的容器，并将所述容器部署为多个容器组；
根据多个所述容器组分别配置第二日志代理。
7.如权利要求6中任一项所述的集群日志采集方法，其特征在于，所述利用所述第二日志代理采集所述每个节点的日志，包括：
利用所述第一节点中的第二日志代理监测第一节点中的进程，并根据监测结果采集日志；
提取所述第二节点中的第二日志代理所对应的容器的采集进度；
利用所述第二节点中的第二日志代理根据所述采集进度继续进行日志采集。
8.一种集群日志采集装置，其特征在于，所述装置包括：
第一日志代理部署模块，用于利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；
采集方式切换模块，用于获取所述日志的采集速度；获取所述日志对应的日志量，在满足所述日志量达到第一预设阈值以及所述采集速度达到第二预设阈值中任一条件时，根据所述日志检测所述集群中日志的采集进度；
第二日志代理部署模块，用于利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理；
日志采集模块，用于利用所述第一日志代理采集每个所述节点的日志，以及利用所述第二日志代理采集所述每个节点的日志。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的集群日志采集方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的集群日志采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210255636.5A CN114598731B (zh) | 2022-03-15 | 2022-03-15 | 集群日志采集方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210255636.5A CN114598731B (zh) | 2022-03-15 | 2022-03-15 | 集群日志采集方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114598731A true CN114598731A (zh) | 2022-06-07 |
| CN114598731B CN114598731B (zh) | 2023-08-15 |
Family
ID=81809488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210255636.5A Active CN114598731B (zh) | 2022-03-15 | 2022-03-15 | 集群日志采集方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114598731B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757041A (zh) * | 2022-11-28 | 2023-03-07 | 安超云软件有限公司 | 可动态配置的多集群日志采集的方法及应用 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213742A (zh) * | 2018-11-02 | 2019-01-15 | 大唐网络有限公司 | 日志采集方法及装置 |
| US20200125533A1 (en) * | 2018-10-22 | 2020-04-23 | Outcold Solutions LLC | System and method for locating a file created by a process running in a linux container |
| CN112800017A (zh) * | 2021-01-21 | 2021-05-14 | 网易（杭州）网络有限公司 | 分布式日志采集方法、装置、介质及电子设备 |
-
2022
- 2022-03-15 CN CN202210255636.5A patent/CN114598731B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200125533A1 (en) * | 2018-10-22 | 2020-04-23 | Outcold Solutions LLC | System and method for locating a file created by a process running in a linux container |
| CN109213742A (zh) * | 2018-11-02 | 2019-01-15 | 大唐网络有限公司 | 日志采集方法及装置 |
| CN112800017A (zh) * | 2021-01-21 | 2021-05-14 | 网易（杭州）网络有限公司 | 分布式日志采集方法、装置、介质及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757041A (zh) * | 2022-11-28 | 2023-03-07 | 安超云软件有限公司 | 可动态配置的多集群日志采集的方法及应用 |
| CN115757041B (zh) * | 2022-11-28 | 2023-11-21 | 安超云软件有限公司 | 可动态配置的多集群日志采集的方法及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114598731B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112653760B (zh) | 跨服务器的文件传输方法、装置、电子设备及存储介质 | |
| CN113918361A (zh) | 基于物联网规则引擎的终端控制方法、装置、设备及介质 | |
| CN113806434B (zh) | 大数据处理方法、装置、设备及介质 | |
| CN114124968B (zh) | 基于行情数据的负载均衡方法、装置、设备及介质 | |
| CN114816820A (zh) | chproxy集群故障修复方法、装置、设备及存储介质 | |
| CN114550076A (zh) | 区域异常行为监控方法、装置、设备及存储介质 | |
| CN114598731B (zh) | 集群日志采集方法、装置、设备及存储介质 | |
| CN114169303A (zh) | 基于vue.js的表格编辑方法、装置、设备及介质 | |
| CN113407374A (zh) | 故障处理方法、装置、故障处理设备及存储介质 | |
| CN114675976B (zh) | 基于kubernetes的GPU共享方法、装置、设备及介质 | |
| CN114911479A (zh) | 基于配置化的界面生成方法、装置、设备及存储介质 | |
| CN114371962A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
| CN114385453A (zh) | 数据库集群异常处理方法、装置、设备及介质 | |
| CN114238233A (zh) | 文件自动化清理方法、装置、设备及存储介质 | |
| CN114201466A (zh) | 防缓存击穿方法、装置、设备及可读存储介质 | |
| CN113687834B (zh) | 分布式系统节点部署方法、装置、设备及介质 | |
| CN113657076B (zh) | 页面操作记录表的生成方法、装置、电子设备及存储介质 | |
| CN114860349B (zh) | 数据加载方法、装置、设备及介质 | |
| CN117349030B (zh) | 基于云计算集群的医疗数字系统、方法及设备 | |
| CN113434365B (zh) | 数据特征监控方法、装置、电子设备及存储介质 | |
| CN114500320A (zh) | 数据监控方法、装置、电子设备及计算机可读存储介质 | |
| CN114124509B (zh) | 基于Spark的网络异常流量检测的方法及系统 | |
| CN113452703B (zh) | 组合通信请求响应方法、装置、电子设备及可读存储介质 | |
| CN114553705A (zh) | 服务器动态扩容方法、装置、电子设备及存储介质 | |
| CN114880125A (zh) | 单线程数据读取分发的跑批方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231023 Address after: Room 301-2, No. 206 Kaibin Road, Xuhui District, Shanghai, 200000 Patentee after: Ping An Technology (Shanghai) Co.,Ltd. Address before: 518000 Guangdong, Shenzhen, Futian District Futian street Fu'an community Yitian road 5033, Ping An financial center, 23 floor. Patentee before: PING AN TECHNOLOGY (SHENZHEN) Co.,Ltd. |