CN112069145A - 适于大规模部署云环境的日志收集系统和方法 - Google Patents
适于大规模部署云环境的日志收集系统和方法 Download PDFInfo
- Publication number
- CN112069145A CN112069145A CN202010894046.8A CN202010894046A CN112069145A CN 112069145 A CN112069145 A CN 112069145A CN 202010894046 A CN202010894046 A CN 202010894046A CN 112069145 A CN112069145 A CN 112069145A
- Authority
- CN
- China
- Prior art keywords
- log
- fluent
- component
- node
- log information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000012858 packaging process Methods 0.000 claims description 2
- 230000002688 persistence Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种适于大规模部署云环境的日志收集系统，包括Fluentd组件、PV组件、Ceph rbd组件和若干个Fluentbit组件；所述若干个Fluentbit组件分散布置在各节点，用于收集转发各节点产生的日志信息；所述Fluentd组件独立运行在任意一个节点上，用于接收不同节点的Fluentbit组件转发的日志信息，将日志信息聚合后以文件形式存储到挂载的PV组件上；所述PV组件采用Ceph rbd实现对聚合后的日志信息的多副本存储。本发明能够应对分布式的大规模集群产生的海量数据和格式多样性，采用统一日志记录层将各节点日志进行收集聚合，并实现数据持久化、多副本存储；对环境依赖性小、消耗资源小、收集性能好。
Description
技术领域
本发明涉及日志收集技术领域，具体而言涉及一种适于大规模部署云环境的日志收集系统和方法。
背景技术
随着云计算的发展和企业业务规模的扩大，部署的成百上千节点的大规模云环境成为必须应对的复杂情况。云计算环境提供服务需要众多组件的支撑，系统本身的组件会产生大量的日志数据，如负载均衡器、应用容器运行日志等，而云环境中的应用生成的日志记录更是难记其数。每天都有海量的数据在云中产生，如何收集、存储大规模云环境下的日志是首要解决的问题。
在大规模云计算环境中的日志收集有以下难题：
(1)日志数据量庞大：企业业务需求的增加，需添加组件和应用来支持，产生的应用级和系统级日志量巨大；单节点或多节点日志量尚可估计其大小，但在大规模节点的环境下，其产生的总日志数据的大小是海量的。所以要求云计算环境中的日志收集工具对海量数据的收集性能是高效的，并能够在数据量增长的情况下有良好的扩展能力。
(2)日志数据来源广泛，格式多样：云计算环境中的日志数据来自于多个分布式部署的系统平台组件和应用开发者部署的应用。需要能够对不同的来源收集日志，并需要正确解析不同结构或非结构的数据，可进行格式化处理。
(3)高稳定性和高可用性：日志收集组件作为云计算系统的基础组件，需要有极高的稳定性和高可用性。
(4)环境依赖性和资源消耗：运行的收集工具可适应大规模部署的云环境的复杂性，对环境的依赖性小，可快速应用；存储收集的数据庞大，工具本身需占用较小系统资源，不影响环境中其他组件和应用的工作，并需要具备灵活的扩展能力以配合其他组件。
传统方式的日志收集是将日志写入到本机磁盘，使用grep、awk等工具分析，效率非常低，无法满足比较复杂的分析和难以适用于分布式环境，集中式日志解决方案应运而生，并在实践中逐渐成熟，让分布式平台的日志集中收集变得可行和简单。ELK Stack是较早使用并流行的日志解决方案，其中的“L”是指logstash，一款强大的数据处理工具，生态圈提供大量插件支持，有很强的扩展性和互操作性。但logstash基于JDK，消耗较大资源，运行占用CPU和内存高，在单纯启动的情况下大概要消耗500M内存，而且大规模云环境下的配置复杂，难度高。Filebeat是轻量级数据收集引擎，是基于Logstash-fowarder的源代码开发的，只是一个二进制文件没有任何依赖，可靠性高，但是Filebeat的应用范围有限，只能将日志发送到Logstash和Elasticsearch等，若将logstash作为其下有管道，同样有性能问题。其他收集工具如Flume是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。但Flume使用JRuby构建，所以依赖Java环境等。
众多日志收集工具各有优劣，都可实现日志的集中收集，但在环境依赖、环境部署等方面存在欠缺，无法满足大规模部署云环境的复杂情况和配合其他组件使用的灵活性。
发明内容
本发明针对现有技术中的不足，提供一种适于大规模部署云环境的日志收集系统和方法，可以应对分布式的大规模集群产生的海量数据和格式多样性，采用统一日志记录层将各节点日志进行收集聚合，并实现数据持久化、多副本存储。根据特性互补原则，使用两种工具配合完成简单部署、日志数据采集、处理、聚合、输出存储等过程。收集工具的环境依赖性小、消耗资源小、收集性能好。灵活的插件系统，提供数十种数据源和众多输出目标，可对接监控工具等，具备良好的扩展能力。在大规模部署的云环境下，让日志收集工作变得简单、灵活、可靠。
为实现上述目的，本发明采用以下技术方案：
一种适于大规模部署云环境的日志收集系统，所述日志收集系统包括Fluentd组件、PV组件、Ceph rbd组件和若干个Fluentbit组件；
所述若干个Fluentbit组件分散布置在各节点，用于收集转发各节点产生的日志信息；
所述Fluentd组件独立运行在任意一个节点上，用于接收不同节点的Fluentbit组件转发的日志信息，将日志信息聚合后以文件形式存储到挂载的PV组件上；
所述PV组件采用Ceph rbd实现对聚合后的日志信息的多副本存储。
为优化上述技术方案，采取的具体措施还包括：
进一步地，所述Fluentd组件将各节点的日志数据聚合后，按功能将数据以File的压缩形式分类输出至挂载在Fluentd container的PV组件的对应目录内。
进一步地，所述Fluentd组件使用grepcounter和Prometheus插件，将日志内容匹配正则表达式，对异常字段进行查询并计数。
进一步地，所述Fluentd组件与Prometheus组件对接，用于对日志内容进行定制化监控和告警。
进一步地，所述Fluentd组件采用Prometheus组件将metric在web界面公开，来设置logging级别告警，监控日志内容。
进一步地，所述Fluentd container中安装有用于打包日志的脚本文件，根据用户通过应用界面输入的日期和节点编号对应的日志信息进行打包下载。
进一步地，在日志打包过程中，所述脚本文件采用sysreport组件获取当前环境的状态信息并添加至日志包。
进一步地，从界面下载的日志可自行解压分析，也通过与日志分析系统关联的Jira工具入口上传日志到日志分析系统进行专业分析。
进一步地，所述日志收集系统还包括，kubernetes自动编排系统，所述kubernetes自动编排系统用于当Fluentd组件所在节点发生故障时，将故障的Fluentd pod自动迁移到其他可用节点。
基于前述日志收集系统的，本发明还提及一种适于大规模部署云环境的日志收集方法，所述日志收集方法包括以下步骤：
S1，将若干个Fluentbit组件分散布置在各节点，实时收集转发各节点产生的日志信息；
S2，将Fluentd组件独立运行在任意一个节点上，接收不同节点的Fluentbit组件转发的日志信息，将日志信息聚合后以文件形式存储到挂载的PV组件上；
S3，驱使PV组件采用Ceph rbd实现对聚合后的日志信息的多副本存储。
本发明的有益效果是：
(1)对大规模部署云环境下的日志进行高效、可靠、全面、正确地分布式数据采集。
(2)可聚合各个节点的日志内容，并对日志记录做相应处理。单点故障Fluentdpod可自动迁移，具有间断的高可用性。
(3)可扩展性强，Fluentbit、Fluentd的插件系统和插件可自定义编写，可以配合云环境中其他组件的使用，完善应用功能，如配合Prometheus丰富监控功能。
(4)集中式日志收集，持久化数据，利用Ceph实现多副本存储，安全可靠。
(5)打包日志文件时，动态获取云环境状态信息，提供多方面日志收集。
附图说明
图1是本发明的适于大规模部署云环境的日志收集系统的结构示意图。
图2是本发明的目标收集过程示意图。
图3是具体实施例二的组件部署结构示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
具体实施例一
结合图1，本发明提及一种适于大规模部署云环境的日志收集系统，所述日志收集系统包括Fluentd组件、PV组件、Ceph rbd组件和若干个Fluentbit组件。
所述若干个Fluentbit组件分散布置在各节点，用于收集转发各节点产生的日志信息。
所述Fluentd组件独立运行在任意一个节点上，用于接收不同节点的Fluentbit组件转发的日志信息，将日志信息聚合后以文件形式存储到挂载的PV组件上。
所述PV组件采用Ceph rbd实现对聚合后的日志信息的多副本存储。
本发明将日志收集分为数据采集转发和数据聚合两个过程，选用资源量小、性能高效的转发器来进行数据采集；使用插件系统强大、聚合能力强的聚合器来统一处理输出。
日志转发器采用Fluentbit，来收集转发各节点的日志信息。Fluentbit环境依赖性小，可分布运行在各节点，占用内存小，能以每秒约21000条记录高效收集数据。使用Fluentd作为日志聚合器，来接收不同节点上的Fluentbit转发的数据，聚合输出到指定目标，将数据以文件形式存储到挂载的PV上，PV采用Ceph rbd实现多副本存储，来保证日志数据存储的可靠性。
Fluentd拥有灵活的插件系统，大量的常用插件可对日志数据进行过滤、修改、删除等操作，特殊插件还可实现对接监控工具Prometheus，来对日志内容进行定制化监控和告警，扩展能力强。两者的配置简单，云环境的规模对其配置文件的复杂性影响相对于其他收集工具较小，在大规模环境中的部署应用相对容易。
图1是其中一种适于大规模部署云环境的日志收集系统的结构示意图。
●Fluentbit：一种轻量级云原生日志转发器，使用C语言编写，零依赖，只占用极小的内存资源，非常注重性能以允许从不同源收集事件而没有复杂性，可以以每秒约21000条记录的速度高效收集数据，并转发给Fluentd。
●Fluentd：是一个用于构建统一日志记录层的开源数据收集器。Fluentd基于CRuby实现，性能敏感的部分用C语言实现，官方提供适合大规模环境的稳定发行包td-agent，对环境的依赖性小。Fluentd支持所有主流日志类型，插件支持较多，基本插件可实现对日志数据进行收集、过滤、更改、缓存和输出等，特殊插件可实现定制化功能，可扩展，配置简单，整体性能表现较好，是开源社区中流行的日志收集工具。
●持久化存储：Ceph是一个统一的分布式存储系统，具有高性能、高可用性、高可扩展性和特性丰富等特点，本方案使用Ceph存储日志数据。Fluentd将各节点的日志数据聚合后，按功能将数据以File的压缩形式分类输出到对应目录。所有日志文件都保存在挂载到Fluentd container的PV(Persistent Volume)上，来持久化日志信息。PV利用Ceph RBD实现多副本存储，使日志数据的存储更安全可靠。
●对接组件：Prometheus是开源监控告警解决方案，从目标收集指标，评估规则来监控数据，可触发警报，是目前开源社区最为活跃的项目之一。Fluentd使用grepcounter和Prometheus插件，将日志内容匹配正则表达式，对异常字段进行查询并计数。与Prometheus服务器一起使用，将metric在web界面公开，来设置logging级别告警，监控日志内容。
●日志文件后续使用：Fluentd container中存储着收集的日志文件，同时保存了用来打包日志的脚本文件，用户可通过应用界面选择指定日期、节点的日志进行打包下载。打包过程中使用sysreport来获取此时环境的状态信息，并添加到日志包。从界面下载的日志可自行解压分析，也通过与日志分析系统关联的Jira工具入口上传日志到日志分析系统，进行专业分析。
在云环境中，Fluentbit作为Daemonset资源运行在集群的每个节点上，监听读取节点日志文件，包括所有pod的container日志和节点系统日志，收集并添加tag，转发给运行在某一节点的Fluentd来聚合和处理。
图2是本发明的目标收集过程示意图。节点保存的Pod日志目录以随机字段命名，无法分辨，所以将节点上运行的Pod container的日志文件统一链接到系统日志路径下的container/目录，并将文件以pod name命名，配置Fluentbit的收集目标时更方便灵活，实现云环境的日志信息全面收集。所有节点上的Fluentbit将收集的数据转发给单节点运行的Fluentd，当该节点的Fluentd pod发生故障时，kubernetes自动编排系统会将故障的Fluentd pod自动迁移到其他可用节点，保证了数据聚合的持续性，使单点Fluentd呈现间断的高可用效果。Fluentd设置每天凌晨定时输出文件，短暂故障不会影响最终日志文件，确保日志数据的完整性。
具体实施例二
结合图3，实验的方式如下，在10个任意角色节点的云环境下，部署日志收集方案所需组件。
环境准备说明：云环境后端为使用Kubernetes部署完成，10个节点均已加入集群，Prometheus监控告警工具测试使用正常，Ceph分布式存储也已实现。产品前端界面提供的日志下载按钮，点击后可获取后端返回的打包文件，内容完整且解压无误。
Fluentbit以Daemonset资源部署到所有节点，负责采集日志信息并转发给Fluentd。Fluentd作为Statefulset资源运行在某一节点，聚合各个节点转发进来的日志，根据grepcounter插件对指定日志内容进行查询匹配，统计目标字段出现次数，配合Prometheus插件，以日志相关服务给counter类型的metric命名，并将metric暴露给Prometheus组件，实现对特定服务的日志内容的监控。
将container的日志文件链接到系统文件所在路径，Fluentbit进行统一收集。Fluentd将日志数据聚合处理后，将记录分类路由，以文件压缩形式保存在container的指定目录。挂载PV，并将PV采用Ceph rbd方式实现持久化保存日志文件、多副本分布式存储。
将打包日志的脚本文件log-packer.sh放到Fluentd container的某一路径下，以待调用。在前端界面选择获取指定日期、节点的日志，调用后端提供的接口，来运行log-packer.sh。脚本文件中添加了sysreport功能来获取此时环境的状态信息，作为日志的一部分加入日志包中，返回给前端。从界面下载的日志可自行解压分析，也可上传到日志分析系统进行自动、全面、专业的分析。日志分析系统已关联Jira工具，可从此入口进入，上传对应日志，自动生成分析链接。
具体实施例三
基于前述日志收集系统的，本发明还提及一种适于大规模部署云环境的日志收集方法，所述日志收集方法包括以下步骤：
S1，将若干个Fluentbit组件分散布置在各节点，实时收集转发各节点产生的日志信息；
S2，将Fluentd组件独立运行在任意一个节点上，接收不同节点的Fluentbit组件转发的日志信息，将日志信息聚合后以文件形式存储到挂载的PV组件上；
S3，驱使PV组件采用Ceph rbd实现对聚合后的日志信息的多副本存储。
本发明将大规模部署云环境下的日志收集过程分为日志采集转发和日志聚合输出，过程包括：
(1)日志采集转发：将pod的日志链接到系统日志路径下的container/目录，链接文件使用pod name命名，转发器Fluentbit以Daemonset形式分布在所有节点，收集系统日志和container/日志，高效率转发给Fluentd。
(2)日志聚合输出：聚合器Fluentd以Statefulset形式运行在单节点，具有间断的高可用性，接收处理转发进来的数据，使用插件对接监控工具Prometheus，将日志信息以文件压缩形式，持久化、多副本地存储在通过Ceph RBD实现的PV中。
(3)日志信息补充：在日志打包过程中，使用sysreport动态获取实时的环境状态信息，对云环境的日志内容进行补充。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (10)
1.一种适于大规模部署云环境的日志收集系统，其特征在于，所述日志收集系统包括Fluentd组件、PV组件、Ceph rbd组件和若干个Fluentbit组件；
所述若干个Fluentbit组件分散布置在各节点，用于收集转发各节点产生的日志信息；
所述Fluentd组件独立运行在任意一个节点上，用于接收不同节点的Fluentbit组件转发的日志信息，将日志信息聚合后以文件形式存储到挂载的PV组件上；
所述PV组件采用Ceph rbd实现对聚合后的日志信息的多副本存储。
2.根据权利要求1所述的适于大规模部署云环境的日志收集系统，其特征在于，所述Fluentd组件将各节点的日志数据聚合后，按功能将数据以File的压缩形式分类输出至挂载在Fluentd container的PV组件的对应目录内。
3.根据权利要求1所述的适于大规模部署云环境的日志收集系统，其特征在于，所述Fluentd组件使用grepcounter和Prometheus插件，将日志内容匹配正则表达式，对异常字段进行查询并计数。
4.根据权利要求1所述的适于大规模部署云环境的日志收集系统，其特征在于，所述Fluentd组件与Prometheus组件对接，用于对日志内容进行定制化监控和告警。
5.根据权利要求4所述的适于大规模部署云环境的日志收集系统，其特征在于，所述Fluentd组件采用Prometheus组件将metric在web界面公开，来设置logging级别告警，监控日志内容。
6.根据权利要求2所述的适于大规模部署云环境的日志收集系统，其特征在于，所述Fluentd container中安装有用于打包日志的脚本文件，根据用户通过应用界面输入的日期和节点编号对应的日志信息进行打包下载。
7.根据权利要求6所述的适于大规模部署云环境的日志收集系统，其特征在于，在日志打包过程中，所述脚本文件采用sysreport组件获取当前环境的状态信息并添加至日志包。
8.根据权利要求6所述的适于大规模部署云环境的日志收集系统，其特征在于，从界面下载的日志可自行解压分析，也通过与日志分析系统关联的Jira工具入口上传日志到日志分析系统进行专业分析。
9.根据权利要求1所述的适于大规模部署云环境的日志收集系统，其特征在于，所述日志收集系统还包括，kubernetes自动编排系统，所述kubernetes自动编排系统用于当Fluentd组件所在节点发生故障时，将故障的Fluentd pod自动迁移到其他可用节点。
10.一种基于权利要求1所述日志收集系统的适于大规模部署云环境的日志收集方法，其特征在于，所述日志收集方法包括以下步骤：
将若干个Fluentbit组件分散布置在各节点，实时收集转发各节点产生的日志信息；
将Fluentd组件独立运行在任意一个节点上，接收不同节点的Fluentbit组件转发的日志信息，将日志信息聚合后以文件形式存储到挂载的PV组件上；
驱使PV组件采用Ceph rbd实现对聚合后的日志信息的多副本存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894046.8A CN112069145A (zh) | 2020-08-31 | 2020-08-31 | 适于大规模部署云环境的日志收集系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894046.8A CN112069145A (zh) | 2020-08-31 | 2020-08-31 | 适于大规模部署云环境的日志收集系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112069145A true CN112069145A (zh) | 2020-12-11 |
Family
ID=73664768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010894046.8A Pending CN112069145A (zh) | 2020-08-31 | 2020-08-31 | 适于大规模部署云环境的日志收集系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112069145A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948056A (zh) * | 2021-03-05 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种针对kubeedge的edge节点上log日志的收集方法及系统 |
| CN113382071A (zh) * | 2021-06-09 | 2021-09-10 | 北京猿力未来科技有限公司 | 基于混合云架构的链路创建方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107343021A (zh) * | 2017-05-22 | 2017-11-10 | 国网安徽省电力公司信息通信分公司 | 国网云中应用的一种基于大数据的日志管理系统 |
| CN108804038A (zh) * | 2018-05-29 | 2018-11-13 | 新华三技术有限公司 | 日志数据迁移的方法、装置、服务器和计算机可读介质 |
| CN111209011A (zh) * | 2019-12-31 | 2020-05-29 | 烽火通信科技股份有限公司 | 一种跨平台的容器云自动化部署系统 |
-
2020
- 2020-08-31 CN CN202010894046.8A patent/CN112069145A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107343021A (zh) * | 2017-05-22 | 2017-11-10 | 国网安徽省电力公司信息通信分公司 | 国网云中应用的一种基于大数据的日志管理系统 |
| CN108804038A (zh) * | 2018-05-29 | 2018-11-13 | 新华三技术有限公司 | 日志数据迁移的方法、装置、服务器和计算机可读介质 |
| CN111209011A (zh) * | 2019-12-31 | 2020-05-29 | 烽火通信科技股份有限公司 | 一种跨平台的容器云自动化部署系统 |
Non-Patent Citations (1)
| Title |
|---|
| 用户5166556: "K8S集群模式下fluent-bit日志收集方案设计和实践", pages 1, Retrieved from the Internet <URL:https://cloud.tencent.com/developer/article/1639581> * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948056A (zh) * | 2021-03-05 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种针对kubeedge的edge节点上log日志的收集方法及系统 |
| CN113382071A (zh) * | 2021-06-09 | 2021-09-10 | 北京猿力未来科技有限公司 | 基于混合云架构的链路创建方法及装置 |
| CN113382071B (zh) * | 2021-06-09 | 2022-09-06 | 北京猿力未来科技有限公司 | 基于混合云架构的链路创建方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108475360B (zh) | 分布式计算依赖管理系统 | |
| US10560544B2 (en) | Data caching in a collaborative file sharing system | |
| US9697104B2 (en) | End-to end tracing and logging | |
| US10338958B1 (en) | Stream adapter for batch-oriented processing frameworks | |
| CN107590054B (zh) | 船舶服务器日志监控系统 | |
| CN105653425B (zh) | 基于复杂事件处理引擎的监控系统 | |
| US20130111275A1 (en) | Troubleshooting system using device snapshots | |
| CN111046011B (zh) | 日志收集方法、系统、装置、电子设备及可读存储介质 | |
| CN112069145A (zh) | 适于大规模部署云环境的日志收集系统和方法 | |
| US11977934B2 (en) | Automation solutions for event logging and debugging on KUBERNETES | |
| CN110895488B (zh) | 任务调度方法及装置 | |
| US10225375B2 (en) | Networked device management data collection | |
| CN111737207B (zh) | 展示、归集分布式系统中服务节点的日志的方法和装置 | |
| US20120317447A1 (en) | Propagating unobserved exceptions in distributed execution environments | |
| CN111221831A (zh) | 一种对广告效果数据实时处理的计算系统 | |
| CN109257230A (zh) | 一种半导体存储器老化测试的日志管理系统及方法 | |
| CN114691445A (zh) | 集群故障处理方法、装置、电子设备及可读存储介质 | |
| US11777810B2 (en) | Status sharing in a resilience framework | |
| US10536328B2 (en) | Methods and systems that implement an application-level tunnel through which long syslog messages are transmitted | |
| CN113031969B (zh) | 设备部署巡检方法、装置、计算机设备及存储介质 | |
| Iuhasz et al. | Monitoring of exascale data processing | |
| US11449411B2 (en) | Application-specific log routing | |
| CN114816914A (zh) | 基于Kubernetes的数据处理方法、设备及介质 | |
| CN114567633A (zh) | 一种支撑多栈数据库全生命周期的云平台系统及管理方法 | |
| Tisbeni et al. | A Big Data Platform for heterogeneous data collection and analysis in large-scale data centres |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |