CN115801563A - 集群日志动态采集的方法及应用 - Google Patents
集群日志动态采集的方法及应用 Download PDFInfo
- Publication number
- CN115801563A CN115801563A CN202211504087.7A CN202211504087A CN115801563A CN 115801563 A CN115801563 A CN 115801563A CN 202211504087 A CN202211504087 A CN 202211504087A CN 115801563 A CN115801563 A CN 115801563A
- Authority
- CN
- China
- Prior art keywords
- log
- log data
- configuration
- center
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 abstract description 20
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种集群日志动态采集的方法及应用，该方法包括以下步骤：日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD；filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash；Logstash将所述日志数据处理完成后传输到Elasticsearch保存；以及通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。该方法能够实现对日志统一存储、实时检索、查询和分析、监控告警的功能，帮助用户提升运维、运营效率，快速查找和定位问题。
Description
技术领域
本发明是关于数据处理领域，特别是关于一种集群日志动态采集的方法及应用。
背景技术
随着云计算快速发展，更多企业对云计算资源的要求也更加多样化，比较大的企业内部通过一个采集服务中管理不同容器集群、管理资源的同时，需要对容器集群的日志数据做统一的存储、查询和分析、监控告警，并且可以在采集服务上实时检索。
在平台或资源出现异常或故障时，管理员可通过运维门户的日志功能，在线查询、搜索日志异常的原因，快速的进行问题定位，无需登录云管后端或来回切换到每一个节点的后端查询日志。为了方便对日志数据统一存储、实时检索、查询和分析、监控告警，需要建立一个统一管理，可动态配置的多集群日志采集服务。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种集群日志动态采集的方法及应用，其能够实现对日志数据统一存储、实时检索、查询和分析的功能。
为实现上述目的，本发明的实施例提供了一种集群日志动态采集的方法。
在本发明的一个或多个实施方式中，所述方法包括：日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD；filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash；Logstash将所述日志数据处理完成后传输到Elasticsearch保存；以及通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。
在本发明的一个或多个实施方式中，所述云管理平台的后端服务预设有采集配置的初始模板，其中采集配置包括采集器、采集规则和业务配置，所述方法还包括：所述日志中心通知ETCD启动监听，并缓存初始采集配置数据。
在本发明的一个或多个实施方式中，所述filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，包括：filebeat每隔固定时间向ETCD发送获取采集配置的请求并获取一次采集配置，将原采集配置与新获取的采集配置进行比较，修改采集配置。
在本发明的一个或多个实施方式中，所述方法还包括：所述日志中心定时清理Elasticsearch中的日志数据；以及所述日志中心对日志进行告警。
在本发明的一个或多个实施方式中，所述方法还包括：通过所述日志中心管理常用日志搜索，所述日志中心调用Elasticsearch异步导出所述日志数据并返回。
在本发明的一个或多个实施方式中，所述日志数据包括SDN日志数据，所述日志中心通过开放应用程序接口获取所述SDN日志数据。
在本发明的另一个方面当中，提供了一种集群日志动态采集的装置，其包括配置模块、采集模块、存储模块和检索模块。
配置模块，用于日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD。
采集模块，用于filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash。
存储模块，用于Logstash将所述日志数据处理完成后传输到Elasticsearch保存。
检索模块，用于通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。
在本发明的一个或多个实施方式中，所述配置模块还用于：所述云管理平台的后端服务预设有采集配置的初始模板，其中采集配置包括采集器、采集规则和业务配置，所述日志中心通知ETCD启动监听，并缓存初始采集配置数据。
在本发明的一个或多个实施方式中，所述采集模块还用于：filebeat每隔固定时间向ETCD发送获取采集配置的请求并获取一次采集配置，将原采集配置与新获取的采集配置进行比较，修改采集配置。
在本发明的一个或多个实施方式中，所述采集模块还用于：所述日志数据包括SDN日志数据，所述日志中心通过开放应用程序接口获取所述SDN日志数据。
在本发明的一个或多个实施方式中，所述存储模块还用于：所述日志中心定时清理Elasticsearch中的日志数据；以及所述日志中心对日志进行告警。
在本发明的一个或多个实施方式中，所述检索模块用于：通过所述日志中心管理常用日志搜索，所述日志中心调用Elasticsearch异步导出所述日志数据并返回。
在本发明的一个或多个实施方式中，所述集群日志动态采集的装置还包括：所述日志中心设置在以ELK Stack开源框架为基础的架构上，其中ELK包括Elasticsearch、Logstash、Kibana和Beats，所述filebeat是Beats提供的一个日志采集器；所述日志中心统一管理每个集群中filebeat的采集配置。
在本发明的另一个方面当中，提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的集群日志动态采集的方法。
在本发明的另一个方面当中，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的集群日志动态采集的方法的步骤。
与现有技术相比，根据本发明实施方式的集群日志动态采集的方法及应用，在平台或资源出现异常或故障时，管理员通过日志中心在线查询、搜索日志异常的原因，能够快速地进行问题定位，处理并解决问题；不同容器下的日志保存在对应的容器集群中且没有统一标准的日志格式，通过建立一个统一管理、可动态配置的多集群日志采集服务，能够方便地对日志进行统一存储、实时检索、查询和分析；普通架构下容器集群之间难以统一管理，采用高可扩展性的分布式系统架构设计，能够灵活地开启和关闭指定集群的日志采集。
附图说明
图1是根据本发明一实施方式的集群日志动态采集的方法的流程图；
图2是根据本发明一实施方式的集群日志动态采集的方法的架构图；
图3是根据本发明一实施方式的集群日志动态采集的方法的具体流程图；
图4是根据本发明一实施方式的集群日志动态采集的装置的结构图；
图5是根据本发明一实施方式的集群日志动态采集的计算设备的硬件结构图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
近年来，随着网络的发展和普及，互联网给人们的生产和生活带来了巨大的改变，网络设备每天产生大量的网络日志数据，网络日志是很多企业IT管理员查找网络漏洞的重要依据，这些数据对于网络安全至关重要。通过对网络日志进行分析及风险评估，充分利用日志可以帮助及时发现潜在的风险和安全漏洞。
在平台或资源出现异常或故障时，管理员可通过运维门户的日志功能，在线查询、搜索日志异常的原因，快速的进行问题定位，无需登录云管后端或来回切换到每一个节点的后端查询日志。为了方便对日志数据统一存储、实时检索、查询和分析、监控告警，需要建立一个统一管理，可动态配置的多集群日志采集服务。
以下结合附图，详细说明本发明各实施例提供的技术方案。
实施例1
如图1所示，介绍本发明的一个实施例中集群日志动态采集的方法，该方法包括如下步骤。
在步骤S101中，日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD。
分布式缓存ETCD是一个键值存储的组件，应用场景主要是服务注册与发现，应用程序可以读取和写入ETCD中的数据，将一些配置信息放到ETCD上进行集中管理。本实施例中应用到ETCD的监听功能，在ETCD节点上注册一个Watcher并等待，以后每次配置有更新的时候，ETCD都会实时通知订阅者，以此达到获取最新配置信息的目的。ETCD的事件watch监听接口是使用http访问，提供两种监听模式，一种是一次性监听，类似zookeeper的事件watch，监听到一次事件后，需要客户端重新发起监听；另一种是持久监听stream，当有事件时，会连续触发，不需要客户端重新发起监听。
在本实施例中，本发明对filebeat做了二次开发，使其通过定时调用Logcenter接口来获取采集配置，采集配置在初始化之后都是存储在分布式缓存ETCD中，用来保证多集群环境下采集配置同步。
在步骤S102中，filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash。
具体的，filebeat拉取配置的定时任务每隔固定时间执行一次，比如可以每隔五秒拉取一次，用户根据需求在云管理平台的功能页面更新指定配置，日志中心服务会及时更新缓存数据，基于缓存的存储能够更快地响应filebeat拉取配置的请求。
在步骤S103中，Logstash将所述日志数据处理完成后传输到Elasticsearch保存。
Logstash为信息收集者，是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能，主要是用来对日志数据的搜集、分析、过滤，支持大量的数据获取方式。Elasticsearch为数据的保存者，保存来自Logstash收集的系统日志数据，并建立索引，以及提供之后对数据的检索，主要是用来日志数据的搜集、分析、过滤日志的工具，支持大量的数据获取方式。
在本实施例中，Logstash负责将filebeat收集到的各个集群的日志数据进行收集处理，处理完成后传输到Elasticsearch，Elasticsearch负责存储日志数据，并建立日志索引，便于提供用户通过日志中心进行日志数据检索的功能。
在步骤S104中，通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。
具体的，在云管理平台的页面查询只需要使用简单的查询语法，通过可视化界面配置来分析报表，从而降低用户使用门槛。
实施例2
如图1至图3所示，介绍本发明的一个实施例中集群日志动态采集的方法，该方法包括如下步骤。
在步骤S101中，日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD。
在本实施例中，所述日志中心设置在以ELK Stack开源框架为基础的架构上，其中ELK包括Elasticsearch、Logstash、Kibana和Beats，所述filebeat是Beats提供的一个日志采集器；所述日志中心统一管理每个集群中filebeat的采集配置。
在规模较大的日志分析场景中，面临着日志量太大如何归档、文本搜索太慢怎么解决、如何多维度查询等问题。因而需要集中化的日志管理，所有服务器上的日志收集汇总。一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。一个完整的集中式日志系统，需要包含以下几个主要特点：一是收集，能够采集多种来源的日志数据；二是传输，能够稳定的把日志数据传输到中央系统；三是存储，存储日志数据；四是分析，可以支持UI分析；五是警告，能够提供错误报告，监控机制。ELK提供了一整套解决方案，高效的满足了很多场合的应用。
ELK为三个开源软件的缩写。L(Logstash)为信息收集者，是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能，主要是用来对日志数据的搜集、分析、过滤，支持大量的数据获取方式。E(Elasticsearch)为数据的保存者，保存来自Logstash收集的系统日志数据，并建立索引，以及提供之后对数据的检索，主要是用来日志数据的搜集、分析、过滤日志的工具，支持大量的数据获取方式。K(Kibana)为展示者，主要是将Elasticsearch上的数据通过页面可视化的形式展现出来，包括可以通过语句查询、安装插件对指标进行可视化等。
现有技术中ELK新增了Beats作为数据采集器，其中Beats提供了filebeat，一个轻量级的日志数据收集处理工具。filebeat是用于转发和集中日志数据的轻量级传送工具，可以监视指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引，filebeat占用资源少，适合于在各个服务器上搜集日志数据后传输给Logstash。
具体的，filebeat的工作方式如下：启动filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于filebeat所找到的每个日志，filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为filebeat配置的输出。
在本实施例中，所述云管理平台的后端服务预设有采集配置的初始模板，其中采集配置包括采集器、采集规则和业务配置，所述日志中心通知ETCD启动监听，并缓存初始采集配置数据。
其中业务配置包括日志数据的最大保存时间和最大保存容量。
在步骤S102中，filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash。
通过本实施例的流程可以发现，日志中心是本发明的集群日志采集方案的核心，所有的采集配置都是通过日志中心来创建并维护的。
在本实施例中，filebeat每隔固定时间向ETCD发送获取采集配置的请求并获取一次采集配置，将原采集配置与新获取的采集配置进行比较，修改采集配置。
filebeat拉取配置的定时任务每隔固定时间执行一次，比如可以每隔五秒拉取一次，用户根据需求在云管理平台的功能页面更新指定配置，日志中心服务会及时更新缓存数据，基于缓存的存储能够更快地响应filebeat拉取配置的请求。
在CloudManager、ArcherOS、BMS环境中，filebeat都是通过docker容器的形式运行，通过将宿主机中的日志目录挂载到容器中来让filebeat得到要采集的数据源。而在K8S集群中，filebeat是通过DaemonSet的形式部署的，以确保全部Node上运行一个Pod的副本。DaemonSet能够确保节点运行一个Pod的副本。当有节点加入集群时，也会为这些节点新增一个Pod。当有节点从集群移除时，这些Pod也会被回收，删除DaemonSet将会删除它创建的所有Pod。
具体的，所述日志数据包括SDN日志数据，所述日志中心通过开放应用程序接口openapi获取所述SDN日志数据。
在步骤S103中，Logstash将所述日志数据处理完成后传输到Elasticsearch保存。
在本实施例中，所述日志中心定时清理Elasticsearch中的日志数据；以及所述日志中心对日志进行告警。
具体的，日志中心设置的定时任务能够定时清理Elasticsearch中的日志数据，用于对减少系统内存的占用。同时也增加了对异常日志数据告警相关的设计，用于保证可以尽早发现一些重大的故障，避免因此引发的损失。
本发明实施例的架构图如图2所示，采用高可扩展性的分布式系统架构设计，能够较为灵活地开启和关闭指定集群的日志采集。
在图2中本可扩展性的分布式系统架构包括了以下几个模块：日志中心虚拟机(LogCenter-VM)，虚拟机包括logcenter、elasticsearch和logstash模块，外置ETCD设备；云管理平台(CloudManager)，平台包括许多个控制器(controller)，每个控制器配置一个filebeat来采集平台的日志数据(log)；操作系统(OS)，在本实施例中以安超云操作系统(ArcherOS)为例，系统内部配置一个filebeat来采集系统的日志数据；电池管理系统(BMS)，系统内部配置一个filebeat来采集系统的日志数据；多个K8S集群(K8S-Cluster)，例如K8S-ClusterA，每个集群包括许多个节点(node)，每个节点配置一个filebeat来采集集群的日志数据；软件定义网络(SDN)，在本实施例中以安超软件定义网络(ArSDN)为例，网络包括许多个服务设备(service)，每个服务设备包括一个开放应用程序接口(openapi)。
应当理解的是，本实施例中仅以安超云操作系统和安超软件定义网络为例进行示范，不应当视为对本申请中系统或设备的限制，可以是能够实现同样功能的其他类似操作系统和软件定义网络。
日志中心虚拟机作为日志采集系统架构中心，与云管理平台、安超云操作系统、电池管理系统、K8S集群和安超软件定义网络等模块对接，且外接一个ETCD来存储采集配置。
在本分布式系统架构上，日志中心获取云管理平台、安超云操作系统、电池管理系统、K8S集群和安超软件定义网络的filebeat日志数据输入；filebeat读取对应模块里日志数据的指针；Logstash使用Backpressure私有协议向filebeat收集日志数据；日志中心通过开放应用程序接口获取安超软件定义网络的日志数据。
其中，Backpressure机制为生产者根据消费者需求来进行生产，类似于TCP里的流量控制，接收方根据自己的接收窗口的情况来控制接收速率，并通过反向的ACK包来控制发送方的发送速率。
在步骤S104中，通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。
具体的，在云管理平台的页面查询只需要使用简单的查询语法，通过可视化界面配置来分析报表，从而降低用户使用门槛。
在本实施例中，通过所述日志中心管理常用日志搜索，所述日志中心调用Elasticsearch异步导出所述日志数据并返回。
在本实施例中，所述多集群日志采集服务能够实现的功能包括：
1)多集群日志采集服务能够聚合CS平台(其中包括K8S、ArSDN等高级组件)，纳管安超集群的系统日志数据、资源日志数据，能够进行统一管理。
2)多集群日志采集服务支持可视化展示，支持根据自定义时间段进行单关键字、组合关键字的全局搜索，搜索范围能够选择在指定集群、节点、单资源和单服务等范围内。
3)多集群日志采集服务支持对日志数据进行搜索，支持将关键字搜索、时间搜索保存作为预置搜索项，能够根据日志的严重性进行筛选，比如紧急、警报、错误、信息等。
4)多集群日志采集服务支持对自定义时间内的相同异常日志数据的数量和类型进行统计，并绘制走势图。
如图3所示，用户根据需求能够向日志中心发送多种指令，例如：1)查询采集器、采集规则指令。接收指令后，日志中心通知ETCD启动监听，并缓存初始采集数据到日志中心；2)配置采集器、采集规则指令。接收指令后，采集规则被日志中心写入ETCD存储；3)检索日志指令。接收指令后，日志中心向Elasticsearch检索日志，根据检索内容，filebeat向Logstash推送所需日志数据，Logstash再向Elasticsearch推送日志数据，Elasticsearch将日志数据返回日志中心。4)管理常用搜索指令。5)导出日志指令。接收指令后，日志中心向进行ETCD读取或写入任务，调用Elasticsearch异步导出日志数据并返回。本实施例的日志中心还包括以下功能，例如：filebeat定时向日志中心上报状态，日志中心将更新的采集配置存储至ETCD；filebeat向ETCD定时拉取采集配置；日志中心设置了Elasticsearch定时清理日志数据的任务。
根据本发明实施方式的集群日志动态采集的方法及应用，在平台或资源出现异常或故障时，管理员通过日志中心在线查询、搜索日志异常的原因，能够快速地进行问题定位，处理并解决问题；不同容器下的日志保存在对应的容器集群中且没有统一标准的日志格式，通过建立一个统一管理、可动态配置的多集群日志采集服务，能够方便地对日志进行统一存储、实时检索、查询和分析；普通架构下容器集群之间难以统一管理，采用高可扩展性的分布式系统架构设计，能够灵活地开启和关闭指定集群的日志采集。
实施例3
如图4所示，介绍根据本发明具体实施方式的集群日志动态采集的装置。
在本发明的实施方式中，集群日志动态采集的装置包括配置模块401、采集模块402、存储模块403和检索模块404。
配置模块401，用于日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD。
采集模块402，用于filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash。
存储模块403，用于Logstash将所述日志数据处理完成后传输到Elasticsearch保存。
检索模块404，用于通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。
配置模块401还用于：所述云管理平台的后端服务预设有采集配置的初始模板，其中采集配置包括采集器、采集规则和业务配置，所述日志中心通知ETCD启动监听，并缓存初始采集配置数据。
采集模块402还用于：filebeat每隔固定时间向ETCD发送获取采集配置的请求并获取一次采集配置，将原采集配置与新获取的采集配置进行比较，修改采集配置。
采集模块402还用于：所述日志数据包括SDN日志数据，所述日志中心通过开放应用程序接口获取所述SDN日志数据。
存储模块403还用于：所述日志中心定时清理Elasticsearch中的日志数据；以及所述日志中心对日志进行告警。
检索模块404还用于：通过所述日志中心管理常用日志搜索，所述日志中心调用Elasticsearch异步导出所述日志数据并返回。
集群日志动态采集的装置还包括：所述日志中心设置在以ELK Stack开源框架为基础的架构上，其中ELK包括Elasticsearch、Logstash、Kibana和Beats，所述filebeat是Beats提供的一个日志采集器；所述日志中心统一管理每个集群中filebeat的采集配置。
图5示出了根据本说明书的实施例的用于集群日志动态采集的计算设备50的硬件结构图。如图5所示，计算设备50可以包括至少一个处理器501、存储器502(例如非易失性存储器)、内存503和通信接口504，并且至少一个处理器501、存储器502、内存503和通信接口504经由总线505连接在一起。至少一个处理器501执行在存储器502中存储或编码的至少一个计算机可读指令。
应该理解，在存储器502中存储的计算机可执行指令当执行时使得至少一个处理器501进行本说明书的各个实施例中以上结合图1-5描述的各种操作和功能。
在本说明书的实施例中，计算设备50可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-5描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
根据本发明实施方式的集群日志动态采集的方法及应用，在平台或资源出现异常或故障时，管理员通过日志中心在线查询、搜索日志异常的原因，能够快速地进行问题定位，处理并解决问题；不同容器下的日志保存在对应的容器集群中且没有统一标准的日志格式，通过建立一个统一管理、可动态配置的多集群日志采集服务，能够方便地对日志进行统一存储、实时检索、查询和分析；普通架构下容器集群之间难以统一管理，采用高可扩展性的分布式系统架构设计，能够灵活地开启和关闭指定集群的日志采集。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (10)
1.一种集群日志动态采集的方法，其特征在于，所述方法包括：
日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD；
filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash；
Logstash将所述日志数据处理完成后传输到Elasticsearch保存；以及
通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。
2.如权利要求1所述的集群日志动态采集的方法，其特征在于，所述云管理平台的后端服务预设有采集配置的初始模板，其中采集配置包括采集器、采集规则和业务配置，所述方法还包括：
所述日志中心通知ETCD启动监听，并缓存初始采集配置数据。
3.如权利要求1所述的集群日志动态采集的方法，其特征在于，所述filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，包括：
filebeat每隔固定时间向ETCD发送获取采集配置的请求并获取一次采集配置，将原采集配置与新获取的采集配置进行比较，修改采集配置。
4.如权利要求1所述的集群日志动态采集的方法，其特征在于，所述方法还包括：
所述日志中心定时清理Elasticsearch中的日志数据；以及
所述日志中心对日志进行告警。
5.如权利要求1所述的集群日志动态采集的方法，其特征在于，所述方法还包括：
通过所述日志中心管理常用日志搜索，所述日志中心调用Elasticsearch异步导出所述日志数据并返回。
6.如权利要求1所述的集群日志动态采集的方法，其特征在于，所述日志数据包括SDN日志数据，所述日志中心通过开放应用程序接口获取所述SDN日志数据。
7.一种集群日志动态采集的装置，其特征在于，所述装置包括：
配置模块，用于日志中心接收到云管理平台的更新指令动态更新采集配置，将所述采集配置存储至ETCD；
采集模块，用于filebeat定时从ETCD读取所述采集配置，采集对应集群日志数据，所述日志数据通过网络传输到Logstash；
存储模块，用于Logstash将所述日志数据处理完成后传输到Elasticsearch保存；以及
检索模块，用于通过调用所述日志中心接口进行日志数据检索，所述日志中心根据请求参数调用Elasticsearch拉取日志数据、整理日志格式并返回。
8.如权利要求8所述的集群日志动态采集的装置，其特征在于，所述日志中心设置在以ELK Stack开源框架为基础的架构上，
其中ELK包括Elasticsearch、Logstash、Kibana和Beats，所述filebeat是Beats提供的一个日志采集器；
所述日志中心统一管理每个集群中filebeat的采集配置。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至7中任一项所述的集群日志动态采集的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的集群日志动态采集的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211504087.7A CN115801563A (zh) | 2022-11-28 | 2022-11-28 | 集群日志动态采集的方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211504087.7A CN115801563A (zh) | 2022-11-28 | 2022-11-28 | 集群日志动态采集的方法及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115801563A true CN115801563A (zh) | 2023-03-14 |
Family
ID=85442393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211504087.7A Pending CN115801563A (zh) | 2022-11-28 | 2022-11-28 | 集群日志动态采集的方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115801563A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737514A (zh) * | 2023-08-15 | 2023-09-12 | 南京国睿信维软件有限公司 | 一种基于日志与探针解析自动化运维方法 |
| CN117033334A (zh) * | 2023-10-08 | 2023-11-10 | 吉林省高速公路集团有限公司 | 高速公路收费车道日志采集处理方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200136908A1 (en) * | 2018-10-30 | 2020-04-30 | Elasticsearch B.V | Autodiscovery with Dynamic Configuration Launching |
| CN114282201A (zh) * | 2021-12-01 | 2022-04-05 | 浪潮软件股份有限公司 | 一种应用准入网关的方法及系统 |
-
2022
- 2022-11-28 CN CN202211504087.7A patent/CN115801563A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200136908A1 (en) * | 2018-10-30 | 2020-04-30 | Elasticsearch B.V | Autodiscovery with Dynamic Configuration Launching |
| CN114282201A (zh) * | 2021-12-01 | 2022-04-05 | 浪潮软件股份有限公司 | 一种应用准入网关的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陆奎;李存正;沈强;: "基于ELK与Spark的可扩展征信日志挖掘系统研究", 金陵科技学院学报, no. 03, 30 September 2020 (2020-09-30), pages 1 - 6 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737514A (zh) * | 2023-08-15 | 2023-09-12 | 南京国睿信维软件有限公司 | 一种基于日志与探针解析自动化运维方法 |
| CN116737514B (zh) * | 2023-08-15 | 2023-12-22 | 南京国睿信维软件有限公司 | 一种基于日志与探针解析自动化运维方法 |
| CN117033334A (zh) * | 2023-10-08 | 2023-11-10 | 吉林省高速公路集团有限公司 | 高速公路收费车道日志采集处理方法及系统 |
| CN117033334B (zh) * | 2023-10-08 | 2023-12-22 | 吉林省高速公路集团有限公司 | 高速公路收费车道日志采集处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115801563A (zh) | 集群日志动态采集的方法及应用 | |
| AU2019232789B2 (en) | Aggregating data in a mediation system | |
| RU2424568C2 (ru) | Эффективное хранение данных регистрации с поддержкой запроса, способствующее безопасности компьютерных сетей | |
| US10152480B2 (en) | Archiving indexed data | |
| US20070124437A1 (en) | Method and system for real-time collection of log data from distributed network components | |
| US20130073573A1 (en) | Query pipeline | |
| CN111782672B (zh) | 多领域数据管理方法及相关装置 | |
| CN112732663A (zh) | 一种日志信息处理方法及装置 | |
| CN113486095A (zh) | 一种民航空管跨网安全数据交换管理平台 | |
| US9922539B1 (en) | System and method of telecommunication network infrastructure alarms queuing and multi-threading | |
| CN109542913B (zh) | 一种复杂环境下的网络资产安全管理方法 | |
| CN113765717A (zh) | 一种基于涉密专用计算平台的运维管理系统 | |
| US11210212B2 (en) | Conflict resolution and garbage collection in distributed databases | |
| CN114020893A (zh) | 一种基于分布式存储的日志检索方法、装置及存储介质 | |
| CN113378219A (zh) | 一种非结构化数据的处理方法和系统 | |
| US11895192B1 (en) | Managing subscriptions to resource updates made via a target interface | |
| CN114168672B (zh) | 日志数据的处理方法、装置、系统以及介质 | |
| CN114969083A (zh) | 一种实时数据分析方法及系统 | |
| JP2009193153A (ja) | 管理システム、履歴情報の保存方法、及び履歴情報データベースのデータ構造 | |
| US11055266B2 (en) | Efficient key data store entry traversal and result generation | |
| CN113377816A (zh) | 一种分布式数据存取系统 | |
| US11818087B1 (en) | User-to-user messaging-based software troubleshooting tool | |
| US12061533B1 (en) | Ingest health monitoring | |
| US12073103B1 (en) | Multiple storage system event handling | |
| KR20190064348A (ko) | 이기종 포맷 데이터의 수집 프로세스 자동화 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |