CN109491859B - 针对Kubernetes集群中容器日志的收集方法 - Google Patents
针对Kubernetes集群中容器日志的收集方法 Download PDFInfo
- Publication number
- CN109491859B CN109491859B CN201811201351.3A CN201811201351A CN109491859B CN 109491859 B CN109491859 B CN 109491859B CN 201811201351 A CN201811201351 A CN 201811201351A CN 109491859 B CN109491859 B CN 109491859B
- Authority
- CN
- China
- Prior art keywords
- log
- container
- cluster
- pod
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003139 buffering effect Effects 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000005192 partition Methods 0.000 claims description 7
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了针对Kubernetes集群中容器日志的收集方法，包含以下步骤：通过Docker完成logrotate和Filebeat镜像的自定义构建，通过logrotate镜像完成对日志文件的管理操作，并基于crond实现日志定期回卷；追踪读取日志数据；在集群的所有指定节点中实现Pod副本的自动化部署，并且运行Filebeat的容器还将收集到的日志数据传至Kafka集群中，经过消息队列缓冲后再存入日志仓库中。本发明能有效地支持高并发的数据写入，且具有良好的稳定性与扩展性，可与Hadoop或Elasticsearch进一步结合以实现对海量日志的大数据分析。
Description
技术领域
本发明涉及容器技术领域，特别涉及针对Kubernetes集群中容器日志的收集方法。
背景技术
随着以Docker和Kubernetes为代表的容器生态系统的不断完善，越来越多的开发者将他们的应用及其所依赖的环境打包到容器中运行，并采用Kubernetes进行资源调度、动态扩缩等一系列的容器编排操作。而日志作为记录容器运行状态的重要信息，并在日常生产中用作诊断分析的一类数据，其意义得到了人们越来越多的重视。特别是在大规模的容器集群中，如何收集隔离化的容器应用产生的日志数据，并保证其稳定性、扩展性及性能方面等一系列问题成为了容器化部署过程中不得不面对的一项挑战。
Filebeat是一种轻量型的日志采集器，可以用它来监控日志目录和追踪读取日志文件，并能将这些日志数据进行转发输出。其主要包含两个组件。其中harvester负责打开和关闭文件，并读取单个文件的内容；而prospector则负责发现需要读取的日志源和对harvester进行管理。logrotate是一个日志管理工具，它是基于crond脚本实现定时任务的执行的。主要通过logrotate.conf和logrotate.d两个配置文件完成对日志记录文件的轮转、压缩和删除等管理操作。
Kafka是一个基于发布-订阅的消息处理模式，支持水平扩展和具有高吞吐率的消息队列。它利用磁盘的顺序读写速度快的特点将数据写入磁盘实现持久化，并采用零拷贝技术直接在内核中完成两个文件描述符之间的数据传递，避免了用户缓冲区与内核缓冲区之间的数据拷贝，大大增强了其并发写入的能力。同时，Kafka还支持数据压缩及批量发送，并基于多分区水平扩展引入Kafka Streams API，建立流处理拓扑，进一步实现数据处理和消息转发。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供针对Kubernetes集群中容器日志的收集方法。
本发明的目的通过以下的技术方案实现：
针对Kubernetes集群中容器日志的收集方法，包含以下步骤：
通过Docker完成logrotate和Filebeat镜像的自定义构建，通过logrotate镜像完成对日志文件的管理操作，并基于crond实现日志定期回卷；
在Filebeat镜像中基于prospectors组件实时地追踪读取日志数据；再利用Kubernetes的DaemonSet在集群的所有指定节点中实现Pod副本的自动化部署，每个Pod副本都包含有基于上述两个镜像运行的容器，并且运行Filebeat的容器还将收集到的日志数据传至Kafka集群中，经过消息队列缓冲后再存入日志仓库中。
所述负责管理日志文件的logrotate镜像和读取日志数据的Filebeat镜像是通过Dockerfile完成自定义构建的；由于直接把日志从容器发送给驱动程序可能会使得应用容器因记录压力而被阻塞，进而造成崩溃；所以可先将容器日志消息以非阻塞的方式保存在容器的缓冲区中，再由Docker Log Driver逐一读取后写入容器宿主机的日志目录中；并基于Filebeat的prospectors组件为宿主机日志目录下的各个容器的日志文件启动一个harvester来负责读取日志内容；由于过多的harvester会造成性能浪费，因而可设置自定义的读取策略；而当关闭的文件再次发生变化时，prospectors将重新启动一个新的harvester来读取增量内容。
对于大规模的集群容器，其日志文件大小的增长速度极快，这无疑会很快耗尽机器的磁盘空间，且针对单个庞大的日志文件的处理也十分棘手。因而引入logrotate容器实例，把宿主机的日志目录映射到容器中后，将日志按照自定义的轮转策略进行切割，保障了日志收集过程中系统的稳定性。再将定时任务交由crond进行控制，从而完成日志的定期回卷和清理任务。
所述自定义的读取策略包括指定时间跨度内的增量日志和关闭长时间未有新日志产生的文件。
利用Kubernetes的DaemonSet在集群的所有指定节点中实现Pod副本的自动化部署中，所述DaemonSet相当于节点集群中的守护进程，当集群拓扑中有新的节点加入，或者是发生节点崩溃，重新启动之后，它能自动调度Pod副本，并根据Pod中的容器模板自动创建容器实例运行到新节点中；而当节点从集群中删除时，它也自动实现将Pod副本从节点中移除。
所述Pod，其两个容器都涉及与宿主机共享文件，因此直接在Pod中完成与宿主机日志目录的数据卷挂载，并共享给Pod中的所有容器，实现在容器中对宿主机文件目录的操作。
所述运行Filebeat的容器还将收集到的日志数据传至Kafka集群中，经过消息队列缓冲后再存入日志仓库中，具体为：
由于日志具有实时产生、数据量大的特点，当日志上传至日志仓库时，特别是在大量的Filebeat容器需将日志数据写入日志仓库时，巨大的I/O压力极易使得日志仓库崩溃，造成数据丢失。因而可在日志收集与日志仓库之间添加Kafka消息队列减轻访问压力；由于Docker容器在创建时采用桥接模式，通过创建docker0的虚拟网桥使得Docker容器与宿主机同在一个网络中，因而在Filebeat容器内直接将日志数据传至Kafka集群中指定的Topic下的多个分区。再利用Kafka并发写入的能力，临时存储日志发挥缓冲的作用，最后在Kafka消费端中便可单线程地消费分区日志并写入日志仓库中完成存储；另外，启用Kafka的删除策略，设置log.retention.hours和log.retention.bytes属性，删除旧的日志数据，避免Kafka集群中已存入日志仓库中的数据一直占用磁盘空间。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明针对Kubernetes集群的场景下，完成对集群中部署的应用容器的日志收集。通过创建DaemonSet资源对象，可在自动在各个节点上迅速部署Pod副本，并通过Filebeat和logrotate容器实现对日志的收集和定期轮转。再利用Kafka消息队列解决日志仓库在并发写入时容易崩溃的问题。使得整套的日志收集系统从用户应用中分离出来，具有良好的扩展性和相对独立性。
2、本发明是以解决大规模的集群容器场景下，收集隔离化的应用容器产生的日志文件为出发点，设计了一种针对Kubernetes集群容器日志的收集方案。通过Docker的日志驱动，解决容器的进程和文件系统与宿主机相互隔离的问题。通过Filebeat和logrotate容器实现对日志的收集和定期轮转，并借助DaemonSet实现集群中Pod副本的快速部署。利用Kafka消息队列能有效地支持高并发的数据写入，且具有良好的稳定性与扩展性，可与Hadoop或Elasticsearch进一步结合以实现对海量日志的大数据分析。
附图说明
图1是本发明所述针对Kubernetes集群中容器日志收集方法的流程图。
图2是本发明所述针对Kubernetes集群中容器日志收集方法的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，针对Kubernetes集群中容器日志的收集方法包含以下步骤：
修改Docker目录下的daemon.json文件，将容器日志的标准输出保存为JSON格式的log文件。由于Docker日志驱动会将容器日志保存在宿主机的/var/lib/docker/containers/目录下，因而需设置Filebeat组件prospectors的日志监控目录path为该路径下的所有log文件。启用tail_files，使harvester仅读取日志文件的增量内容，并分别设置ignore_older和close_inactive为5m和3m表示harvester仅读取5分钟之内的增量日志，且当日志文件3分钟内未产生新的日志记录则关闭相应的harvester以减少资源占用。还需通过output.kafka将收集到的日志发至Kafka集群中“Log-msg”主题下的分区中缓存。并通过Dockerfile将该配置文件拷至容器中，完成Filebeat镜像的构建。
同样通过Dockerfile构建自定义的logrotate镜像，设置自定义的轮转策略，指定宿主机的容器日志目录的轮转周期为一周，并保留3份轮转日志，因而各个节点的日志可保留3周，且当日志文件大小超过50MB时，也将发生轮转。并对容器中的/etc/crontabs/root文件写入“15 10**1 root logrotate-vf/etc/logrotate.conf”表示每周一的10点15分定时执行logrotate任务，并通过“crond–f”的命令强制crond在前台运行，避免容器启动脚本运行后就自动退出。随后将构建好的Filebeat镜像和logrotate镜像推送至本地镜像仓库中保存。
修改Kafka的配置文件，启用删除策略，修改log.retention.hours和log.retention.bytes属性，当Kafka中存储的数据超过2天或超过1GB时，自动删除过期的数据。然后启动Kafka集群，创建DaemonSet资源对象logbeat，在配置文件的spec.containers字段中添加基于上述的Filebeat和logrotate镜像运行的容器。在Pod中创建名为beatlog的数据卷，并通过hostPath将宿主机的容器日志目录映射到Pod中。而Pod中的每个容器则需挂载名为beatlog的共享卷，并通过mountPath指定容器中的挂载目录。随后即可通过kubectl create命令创建logbeat，迅速实现集群中各个节点Pod副本的部署。
运行订阅了“Log-msg”主题的Kafka消费者，它将以poll的方式周期性地从该主题下的各个分区中拉取日志消息。对于获取到的每条日志记录，提取其中的value并创建一个ByteArrayInputStream类对象。再通过Hadoop中文件系统FileSystem类的get()获取实例后，调用append()获取Hadoop的数据输出流对象，最后利用IOUtils.copyBytes()完成日志数据从Kafka写入HDFS的功能。该收集方法的结构示意图如图2所示。
针对Kubernetes集群中容器日志的收集方法，包含以下顺序的步骤：通过Docker完成logrotate和Filebeat镜像的自定义构建，通过logrotate完成对日志文件的管理操作，并基于crond实现日志定期回卷；在Filebeat镜像中基于prospectors组件实时地追踪读取日志数据。再利用Kubernetes的DaemonSet在集群的所有指定节点中实现Pod副本的自动化部署，每个Pod副本都包含有基于上述两个镜像运行的容器，并且运行Filebeat的容器还将收集到的日志数据传至Kafka集群中，经过消息队列缓冲后再存入日志仓库中。本发明的日志收集方法，利用Kubernetes中特有的资源对象DaemonSet的特点，保证在所有指定的Node上都运行有一个Pod副本，克服了以往以Side-Car方式需要逐个在含有应用容器的Pod中都包含一个日志容器的繁琐步骤。并通过Pod下logrotate容器对日志文件进行定期回卷和清理，避免不断产生的日志数据对磁盘空间的长期占用。同时，引入Kafka集群进行流量削峰和数据缓存，保证了在大规模的集群场景下，收集容器日志时的可靠性和稳定性，避免了大批日志写入时造成日志仓库的崩溃。且整套的日志收集系统与用户应用分离，具有良好的相对独立性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.针对Kubernetes集群中容器日志的收集方法，其特征在于，包含以下步骤：
通过Docker完成logrotate和Filebeat镜像的自定义构建，通过logrotate镜像完成对日志文件的管理操作，并基于crond实现日志定期回卷；
在Filebeat镜像中基于prospectors组件实时地追踪读取日志数据；再利用Kubernetes的DaemonSet在集群的所有指定节点中实现Pod副本的自动化部署，每个Pod副本都包含有基于上述两个镜像运行的容器，并且运行Filebeat的容器还将收集到的日志数据传至Kafka集群中，经过消息队列缓冲后再存入日志仓库中，具体为：
当日志上传至日志仓库时，在日志收集与日志仓库之间添加Kafka消息队列减轻访问压力；由于Docker容器在创建时采用桥接模式，通过创建docker0的虚拟网桥使得Docker容器与宿主机同在一个网络中，因而在Filebeat容器内直接将日志数据传至Kafka集群中指定的Topic下的多个分区；再利用Kafka并发写入的能力，临时存储日志发挥缓冲的作用，最后在Kafka消费端中便可单线程地消费分区日志并写入日志仓库中完成存储；另外，启用Kafka的删除策略，设置log.retention.hours和log.retention.bytes属性，删除旧的日志数据，避免Kafka集群中已存入日志仓库中的数据一直占用磁盘空间。
2.根据权利要求1所述针对Kubernetes集群中容器日志的收集方法，其特征在于，所述负责管理日志文件的logrotate镜像和读取日志数据的Filebeat镜像是通过Dockerfile完成自定义构建的；先将容器日志消息以非阻塞的方式保存在容器的缓冲区中，再由DockerLog Driver逐一读取后写入容器宿主机的日志目录中；并基于Filebeat的prospectors组件为宿主机日志目录下的各个容器的日志文件启动一个harvester来负责读取日志内容；设置自定义的读取策略；而当关闭的文件再次发生变化时，prospectors将重新启动一个新的harvester来读取增量内容。
3.根据权利要求2所述针对Kubernetes集群中容器日志的收集方法，其特征在于，所述自定义的读取策略包括指定时间跨度内的增量日志和关闭长时间未有新日志产生的文件。
4.根据权利要求1所述针对Kubernetes集群中容器日志的收集方法，其特征在于，利用Kubernetes的DaemonSet在集群的所有指定节点中实现Pod副本的自动化部署中，所述DaemonSet相当于节点集群中的守护进程，当集群拓扑中有新的节点加入，或者是发生节点崩溃，重新启动之后，它能自动调度Pod副本，并根据Pod中的容器模板自动创建容器实例运行到新节点中；而当节点从集群中删除时，它也自动实现将Pod副本从节点中移除。
5.根据权利要求1所述针对Kubernetes集群中容器日志的收集方法，其特征在于，所述Pod，其两个容器都涉及与宿主机共享文件，因此直接在Pod中完成与宿主机日志目录的数据卷挂载，并共享给Pod中的所有容器，实现在容器中对宿主机文件目录的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811201351.3A CN109491859B (zh) | 2018-10-16 | 2018-10-16 | 针对Kubernetes集群中容器日志的收集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811201351.3A CN109491859B (zh) | 2018-10-16 | 2018-10-16 | 针对Kubernetes集群中容器日志的收集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109491859A CN109491859A (zh) | 2019-03-19 |
| CN109491859B true CN109491859B (zh) | 2021-10-26 |
Family
ID=65690301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811201351.3A Expired - Fee Related CN109491859B (zh) | 2018-10-16 | 2018-10-16 | 针对Kubernetes集群中容器日志的收集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109491859B (zh) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111722974B (zh) * | 2019-03-21 | 2024-07-05 | 阿里巴巴集团控股有限公司 | 日志信息的采集方法及装置、计算机设备 |
| CN109933312B (zh) * | 2019-03-25 | 2021-06-01 | 南京邮电大学 | 一种有效降低容器化关系型数据库i/o消耗的方法 |
| CN110008286A (zh) * | 2019-03-26 | 2019-07-12 | 华南理工大学 | 一种注塑成型装备大数据采集和存储系统及方法 |
| CN110134494B (zh) * | 2019-05-17 | 2022-03-25 | 四川长虹电器股份有限公司 | 一种基于Docker容器的容器自动化管理方法 |
| CN110188574B (zh) * | 2019-06-06 | 2021-01-05 | 上海帆一尚行科技有限公司 | 一种Docker容器的网页防篡改系统及其方法 |
| CN110389766B (zh) * | 2019-06-21 | 2022-12-27 | 深圳市汇川技术股份有限公司 | HBase容器集群部署方法、系统、设备及计算机可读存储介质 |
| CN110311817B (zh) * | 2019-06-28 | 2021-09-28 | 四川长虹电器股份有限公司 | 用于Kubernetes集群的容器日志处理系统 |
| CN112449750A (zh) * | 2019-06-28 | 2021-03-05 | 京东方科技集团股份有限公司 | 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统 |
| CN110377489A (zh) * | 2019-07-17 | 2019-10-25 | 国家电网有限公司 | 日志信息处理的方法和装置 |
| CN110704376A (zh) * | 2019-09-04 | 2020-01-17 | 广东浪潮大数据研究有限公司 | 日志文件保存方法及装置 |
| CN110661657B (zh) * | 2019-09-23 | 2022-07-08 | 中国—东盟信息港股份有限公司 | 一种Kubernetes云原生应用的网络安全监控方法及其系统 |
| CN110750426A (zh) * | 2019-10-30 | 2020-02-04 | 北京明朝万达科技股份有限公司 | 服务状态监测方法、装置、电子设备及可读存储介质 |
| CN110990113A (zh) * | 2019-10-31 | 2020-04-10 | 北京浪潮数据技术有限公司 | 一种存储集群中的存储管理方法、系统及相关装置 |
| CN110955578A (zh) * | 2019-11-26 | 2020-04-03 | 深圳市信联征信有限公司 | 基于宿主机的日志收集方法、装置、计算机设备及存储介质 |
| CN111046011B (zh) * | 2019-11-27 | 2024-02-23 | 中科曙光国际信息产业有限公司 | 日志收集方法、系统、装置、电子设备及可读存储介质 |
| CN111625419B (zh) * | 2020-05-15 | 2023-03-31 | 浪潮电子信息产业股份有限公司 | 一种日志采集方法、系统、设备及计算机可读存储介质 |
| CN111666158A (zh) * | 2020-06-23 | 2020-09-15 | 中信银行股份有限公司 | 一种基于Kubernetes的容器调度方法、装置、存储介质及电子设备 |
| CN111813575B (zh) * | 2020-07-06 | 2024-06-25 | 珠海西山居数字科技有限公司 | 一种基于容器服务的定制化清理方法及系统 |
| CN111880816A (zh) * | 2020-07-24 | 2020-11-03 | 北京浪潮数据技术有限公司 | Kubernetes工作负载升级方法、装置及设备 |
| CN111898122B (zh) * | 2020-07-27 | 2023-11-17 | 平安证券股份有限公司 | 容器内应用的日志采集方法、装置、介质及电子设备 |
| CN112532722B (zh) * | 2020-11-27 | 2023-03-24 | 中国—东盟信息港股份有限公司 | 一种基于Kubernetes云原生集群节点优雅关机的方法 |
| CN112527618A (zh) * | 2020-12-17 | 2021-03-19 | 中国农业银行股份有限公司 | 一种日志收集方法及日志收集系统 |
| CN112905537B (zh) * | 2021-02-20 | 2022-09-02 | 北京百度网讯科技有限公司 | 文件处理方法、装置、电子设备和存储介质 |
| CN113381907A (zh) * | 2021-06-04 | 2021-09-10 | 挂号网（杭州）科技有限公司 | 日志采集方法及装置、电子设备、存储介质 |
| CN113626151B (zh) * | 2021-08-09 | 2024-03-08 | 山东可信云信息技术研究院 | 一种容器云日志收集资源控制方法及系统 |
| CN113641343B (zh) * | 2021-10-15 | 2022-02-11 | 中汽数据(天津)有限公司 | 基于环境隔离的高并发python算法调用方法及介质 |
| CN114461593B (zh) * | 2022-04-13 | 2022-07-29 | 云和恩墨(北京)信息技术有限公司 | 日志写入方法及其装置、电子设备及存储介质 |
| US12099430B1 (en) | 2023-07-24 | 2024-09-24 | VMware LLC | Host storage of container logs |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
| WO2017202258A1 (en) * | 2016-05-24 | 2017-11-30 | Huawei Technologies Co., Ltd. | Automated generation of deployment workflows for cloud platforms based on logical stacks |
| CN108509326A (zh) * | 2018-04-09 | 2018-09-07 | 四川长虹电器股份有限公司 | 一种基于nginx日志的服务状态统计方法及系统 |
-
2018
- 2018-10-16 CN CN201811201351.3A patent/CN109491859B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017202258A1 (en) * | 2016-05-24 | 2017-11-30 | Huawei Technologies Co., Ltd. | Automated generation of deployment workflows for cloud platforms based on logical stacks |
| CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
| CN108509326A (zh) * | 2018-04-09 | 2018-09-07 | 四川长虹电器股份有限公司 | 一种基于nginx日志的服务状态统计方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 基于Filebeat自动收集Kubernetes日志的分析系统;翟雅荣等;《计算机系统应用》;20180930(第9期);第81-86页 * |
| 基于Kubernetes的分布式ELK日志分析系统;陈建娟等;《电子技术与软件工程》;20160831(第15期);第211-212,214页 * |
| 记Filebeat的prospectors部分配置说明;JensenWong;《https://www.jianshu.com/p/e51ef4416936?from=singlemessage》;20180517;第1-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109491859A (zh) | 2019-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109491859B (zh) | 针对Kubernetes集群中容器日志的收集方法 | |
| US8707194B1 (en) | System and method for decentralized performance monitoring of host systems | |
| CN108920153B (zh) | 一种基于负载预测的Docker容器动态调度方法 | |
| CN113032099B (zh) | 云计算节点、文件管理方法及装置 | |
| CN111176549B (zh) | 基于云存储的数据存储方法、装置和存储介质 | |
| CN110704400A (zh) | 实时数据同步方法以及装置、服务器 | |
| CN112465046B (zh) | 海量小文件的人工智能训练的方法、系统、设备及介质 | |
| CN111177254B (zh) | 一种异构关系型数据库之间数据同步的方法和装置 | |
| US10642530B2 (en) | Global occupancy aggregator for global garbage collection scheduling | |
| CN114385674A (zh) | 一种平台消息跟踪方法、系统、装置及存储介质 | |
| CN111367755A (zh) | 一种移动终端的用户日志写入方法及系统 | |
| US7840725B2 (en) | Capture of data in a computer network | |
| US9727252B2 (en) | Methods and systems for optimal snapshot distribution within a protection schedule | |
| CN112463073A (zh) | 一种对象存储分布式配额方法、系统、设备和存储介质 | |
| CN109189724B (zh) | 提高视频监控系统音视频数据存储效率的方法及装置 | |
| CN116980475B (zh) | 一种基于binlog与双环形缓冲区的数据推送系统 | |
| WO2024152609A1 (zh) | 一种消息处理方法、装置、电子设备和存储介质 | |
| WO2024119930A1 (zh) | 调度方法、装置、计算机设备和存储介质 | |
| CN103236938A (zh) | 一种基于缓存及异步处理技术的用户行为采集方法及系统 | |
| CN115221116A (zh) | 一种数据写入方法、装置、设备及可读存储介质 | |
| US20180309702A1 (en) | Method and device for processing data after restart of node | |
| CN114124643B (zh) | 一种基于PaaS的网络设备流量采集方法及装置 | |
| CN109739434A (zh) | 文件读取地址获取方法、文件读取方法和终端设备 | |
| Ji et al. | Design of Heterogeneous Data Synchronization Framework for Power System | |
| CN116578741B (zh) | 视图混合存储方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211026 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |