CN103944966A - 基于云计算平台日志收集方法与装置 - Google Patents
基于云计算平台日志收集方法与装置 Download PDFInfo
- Publication number
- CN103944966A CN103944966A CN201410119218.9A CN201410119218A CN103944966A CN 103944966 A CN103944966 A CN 103944966A CN 201410119218 A CN201410119218 A CN 201410119218A CN 103944966 A CN103944966 A CN 103944966A
- Authority
- CN
- China
- Prior art keywords
- rsyslog
- cluster
- service
- site
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种基于云计算平台日志收集方法，包括：将多个服务器划分为不同的群组；在每个群组内随机选出两台服务器，分别启动rsyslog-cluster_1和rsyslog-cluster_2服务；对rsyslog-cluster_1和rsyslog-cluster_2服务进行配置以接收多个服务器中的每台服务器上的rsyslog发送的日志信息；分别配置rsyslog-cluster_1和rsyslog-cluster_2服务将接收的消息分别发送给rsyslog-site_1和rsyslog-site_2；启动rsyslog-site_1和rsyslog-site_2接收多个服务器的日志信息。本发明通过运用rsyslog工具以及对相应的服务进行配置，从而实现日志收集的功效，具有快捷性，易用性。本发明还公开了一种基于云计算平台日志收集装置。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于云计算平台日志收集方法与装置。
背景技术
云计算平台是由庞大数量的服务器组成的，而且这些服务器可能部署在不同的区域甚至不同的国家，但由于运营的需要，需要收集平台中服务器的运行日志以及平台中各软件服务的日志信息，用于及时的法线错误，处理故障，更深层次的可以用于后期的数据挖掘。庞大数量的服务器以及数量众多的服务逐个的收集日志任务量大，工作效率低，不具有易用性。
发明内容
本发明所要解决的技术问题是如何高效、快捷的处理庞大数量的服务器以及数量众多的服务逐个的收集日志的问题。
为此目的，本发明提出了一种基于云计算平台日志收集方法，该方法具体包括：
S1：将多个服务器划分为不同的群组，其中，rsyslog工具运行在每台服务器上；
S2：在所述每个群组内随机选出两台服务器，分别启动rsyslog-cluster_1和rsyslog-cluster_2服务；
S3：对所述rsyslog-cluster_1和rsyslog-cluster_2服务进行配置以接收所述多个服务器中的每台服务器上的rsyslog发送的日志信息；
S4：配置所述rsyslog-cluster_1服务将接收的消息发送给rsyslog-site_1，配置所述rsyslog-cluster_2服务将接收的消息发送给rsyslog-site_2；
S5：启动所述rsyslog-site_1和rsyslog-site_2接收多个服务器的所述日志信息。
具体地，对所述多个服务器群组划分的方式为：按照物理网络、按照区域和/或按照物理网络与区域相结合的方式对服务器进行群组划分。
具体地，所述rsyslog-cluster_1和rsyslog-cluster_2服务具有不同的配置文件。
为此目的，本发明提出了一种基于云计算平台日志收集装置，包括：
划分模块，用于将多个服务器划分为不同的群组，其中，rsyslog工具运行在每台服务器上；
启动模块，用于在所述每个群组内随机选出两台服务器，分别启动rsyslog-cluster_1和rsyslog-cluster_2服务；
配置模块，用于对所述rsyslog-cluster_1和rsyslog-cluster_2服务进行配置以接收所述多个服务器中的每台服务器上的rsyslog发送的日志信息；
发送模块，用于配置所述rsyslog-cluster_1服务将接收的消息发送给rsyslog-site_1，配置所述rsyslog-cluster_2服务将接收的消息发送给rsyslog-site_2；
收集模块，用于启动所述rsyslog-site_1和rsyslog-site_2接收多个服务器的所述日志信息。
具体地，对所述多个服务器群组划分的方式为：按照物理网络、按照区域和/或按照物理网络与区域相结合的方式对服务器进行群组划分。
具体地，所述rsyslog-cluster_1和rsyslog-cluster_2服务具有不同的配置文件。
通过采用本发明所公开的一种基于云计算平台日志收集方法，通过运用rsyslog工具以及对相应的服务进行配置，从而实现日志收集的功效，具有快捷性，易用性。本发明还公开了一种基于云计算平台日志收集装置。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明实施例中的一种基于云计算平台日志收集方法的步骤流程图；
图2示出了本发明实施例中的一种基于云计算平台日志收集装置的结构图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
如图1所示，本发明实施例中提供了一种基于云计算平台日志收集方法，具体包括以下步骤：
步骤S1：将多个服务器划分为不同的群组，其中，rsyslog工具运行在每台服务器上。
具体地，对多个服务器群组划分的方式为：按照物理网络、按照区域和/或按照物理网络与区域相结合的方式对服务器进行群组划分。
步骤S2：在每个群组内随机选出两台服务器，分别启动rsyslog-cluster_1和rsyslog-cluster_2服务。
具体地，rsyslog-cluster_1和rsyslog-cluster_2服务具有不同的配置文件。
步骤S3：对rsyslog-cluster_1和rsyslog-cluster_2服务进行配置以接收多个服务器中的每台服务器上的rsyslog发送的日志信息。
步骤S4：配置rsyslog-cluster_1服务将接收的消息发送给rsyslog-site_1，配置rsyslog-cluster_2服务将接收的消息发送给rsyslog-site_2。
步骤S5：启动rsyslog-site_1和rsyslog-site_2接收多个服务器的日志信息。
如图2所示，本发明实施例中提供了一种基于云计算平台日志收集装置20，包括：划分模块201、启动模块202、配置模块203、发送模块204以及收集模块205。
具体地，划分模块201用于将多个服务器划分为不同的群组，其中，rsyslog工具运行在每台服务器上。
进一步地，对多个服务器群组划分的方式为：按照物理网络、按照区域和/或按照物理网络与区域相结合的方式对服务器进行群组划分。
具体地，启动模块202用于在每个群组内随机选出两台服务器，分别启动rsyslog-cluster_1和rsyslog-cluster_2服务，其中，rsyslog-cluster_1和rsyslog-cluster_2服务具有不同的配置文件。
配置模块203用于对rsyslog-cluster_1和rsyslog-cluster_2服务进行配置以接收多个服务器中的每台服务器上的rsyslog发送的日志信息；发送模块204用于配置rsyslog-cluster_1服务将接收的消息发送给rsyslog-site_1，配置rsyslog-cluster_2服务将接收的消息发送给rsyslog-site_2；收集模块205用于启动rsyslog-site_1和rsyslog-site_2接收多个服务器的日志信息。
为了更好的理解与应用本发明提出的一种基于云计算平台日志收集方法，进行以下示例。服务器日志发送给rsyslog-cluster_N，由其收集之后发给rsyslog-site_N,避免了同时向rsyslog-site_N发送，导致日志信息传输堵塞现象；rsyslog-site_N服务器io，例如，网络io和读写硬盘io瓶颈限制rsyslog-cluster_N和rsyslog-site_N都有互为备份可以实现区域日志自治和日志全局管控，例如，云平台总部在北京，在深圳，广州都有服务器集群，相当于有3个群组，将rsyslog-site_N建立在北京总部，这样北京、深圳和广州的运营人员可以根据各自群组上的rsyslog-cluster_N收集的群组日志信息进行监控，及时的发现错误，处理故障，以及为后续的数据挖掘做准备，与此同时，北京除了可以自治以外，可以根据rsyslog-site_N收集的日志进行全局分析监控。
通过采用本发明所公开的一种基于云计算平台日志收集方法，通过运用rsyslog工具以及对相应的服务进行配置，从而实现日志收集的功效，具有快捷性，易用性。本发明还公开了一种基于云计算平台日志收集装置。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (6)
1.一种基于云计算平台日志收集方法，其特征在于，所述方法具体包括：
S1：将多个服务器划分为不同的群组，其中，rsyslog工具运行在每台服务器上；
S2：在所述每个群组内随机选出两台服务器，分别启动rsyslog-cluster_1和rsyslog-cluster_2服务；
S3：对所述rsyslog-cluster_1和rsyslog-cluster_2服务进行配置以接收所述多个服务器中的每台服务器上的rsyslog发送的日志信息；
S4：配置所述rsyslog-cluster_1服务将接收的消息发送给rsyslog-site_1，配置所述rsyslog-cluster_2服务将接收的消息发送给rsyslog-site_2；
S5：启动所述rsyslog-site_1和rsyslog-site_2接收多个服务器的所述日志信息。
2.如权利要求1所述的方法，其特征在于，对所述多个服务器群组划分的方式为：按照物理网络、按照区域和/或按照物理网络与区域相结合的方式对服务器进行群组划分。
3.如权利要求1所述的方法，其特征在于，所述rsyslog-cluster_1和rsyslog-cluster_2服务具有不同的配置文件。
4.一种基于云计算平台日志收集装置，其特征在于，包括：
划分模块，用于将多个服务器划分为不同的群组，其中，rsyslog工具运行在每台服务器上；
启动模块，用于在所述每个群组内随机选出两台服务器，分别启动rsyslog-cluster_1和rsyslog-cluster_2服务；
配置模块，用于对所述rsyslog-cluster_1和rsyslog-cluster_2服务进行配置以接收所述多个服务器中的每台服务器上的rsyslog发送的日志信息；
发送模块，用于配置所述rsyslog-cluster_1服务将接收的消息发送给rsyslog-site_1，配置所述rsyslog-cluster_2服务将接收的消息发送给rsyslog-site_2；
收集模块，用于启动所述rsyslog-site_1和rsyslog-site_2接收多个服务器的所述日志信息。
5.如权利要求4所述的装置，其特征在于，对所述多个服务器群组划分的方式为：按照物理网络、按照区域和/或按照物理网络与区域相结合的方式对服务器进行群组划分。
6.如权利要求4所述的装置，其特征在于，所述rsyslog-cluster_1和rsyslog-cluster_2服务具有不同的配置文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410119218.9A CN103944966A (zh) | 2014-03-27 | 2014-03-27 | 基于云计算平台日志收集方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410119218.9A CN103944966A (zh) | 2014-03-27 | 2014-03-27 | 基于云计算平台日志收集方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103944966A true CN103944966A (zh) | 2014-07-23 |
Family
ID=51192447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410119218.9A Pending CN103944966A (zh) | 2014-03-27 | 2014-03-27 | 基于云计算平台日志收集方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103944966A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106411582A (zh) * | 2016-09-20 | 2017-02-15 | 上海爱数信息技术股份有限公司 | 服务器的系统日志的收集方法、系统及服务器 |
| CN111245646A (zh) * | 2019-12-31 | 2020-06-05 | 苏州浪潮智能科技有限公司 | 一种基于Netconsole的应用日志监测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060264241A1 (en) * | 2000-04-18 | 2006-11-23 | Fujitsu Limited | Base station log collection device, method for collecting logs of base station and computer program product |
| CN101197700A (zh) * | 2006-12-05 | 2008-06-11 | 阿里巴巴公司 | 提供日志服务的方法及系统 |
| CN101964795A (zh) * | 2010-09-30 | 2011-02-02 | 北京世纪互联工程技术服务有限公司 | 日志采集系统、日志采集方法和日志回收服务器 |
| CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
-
2014
- 2014-03-27 CN CN201410119218.9A patent/CN103944966A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060264241A1 (en) * | 2000-04-18 | 2006-11-23 | Fujitsu Limited | Base station log collection device, method for collecting logs of base station and computer program product |
| CN101197700A (zh) * | 2006-12-05 | 2008-06-11 | 阿里巴巴公司 | 提供日志服务的方法及系统 |
| CN101964795A (zh) * | 2010-09-30 | 2011-02-02 | 北京世纪互联工程技术服务有限公司 | 日志采集系统、日志采集方法和日志回收服务器 |
| CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
Non-Patent Citations (1)
| Title |
|---|
| 朱晓亮等: "基于rsyslog系统日志的收集与分析", 《网络安全技术与应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106411582A (zh) * | 2016-09-20 | 2017-02-15 | 上海爱数信息技术股份有限公司 | 服务器的系统日志的收集方法、系统及服务器 |
| CN111245646A (zh) * | 2019-12-31 | 2020-06-05 | 苏州浪潮智能科技有限公司 | 一种基于Netconsole的应用日志监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108600300B (zh) | 日志数据处理方法及装置 | |
| CN103067525A (zh) | 一种基于特征码的云存储数据备份方法 | |
| US9104745B1 (en) | Distributed log collector and report generation | |
| CN103761309A (zh) | 一种运营数据处理方法及系统 | |
| CN103064731A (zh) | 一种提高消息队列系统性能的装置及其方法 | |
| CN103440244A (zh) | 一种大数据存储优化方法 | |
| CN104320401A (zh) | 一种基于分布式文件系统的大数据存储访问系统及方法 | |
| CN103049355B (zh) | 一种数据库系统恢复方法及设备 | |
| CN102710465A (zh) | 一种监控集群存储接口节点负载的方法 | |
| CN103078907A (zh) | 上传、云备份、查找、恢复数据的方法及装置 | |
| CN105227347A (zh) | 一种通用的运维监控方法及运维监控系统 | |
| CN105049290A (zh) | 页面访问监测方法及装置 | |
| CN103856354A (zh) | 一种集群存储系统日志统一管理实现方法 | |
| WO2012012515A3 (en) | System and method for managing data on an occasionally connected mobile device | |
| CN103716384A (zh) | 跨数据中心实现云存储数据同步的方法和装置 | |
| CN102480489A (zh) | 一种用于分布式环境下的日志记录方法和设备 | |
| CN103973516A (zh) | 一种数据处理系统中实现监控功能的方法及装置 | |
| US20160285710A1 (en) | Event-driven framework for filtering and processing network flows | |
| CN110928681A (zh) | 数据的处理方法和装置、存储介质及电子装置 | |
| CN102833092A (zh) | 云节点管理方法及系统、中心服务器 | |
| CN102750184A (zh) | 云资源分类与标识系统及方法 | |
| CN102520982A (zh) | 节点热插拔的方法及装置 | |
| CN103944966A (zh) | 基于云计算平台日志收集方法与装置 | |
| CN105354110B (zh) | 云服务器数据备份方法及装置 | |
| US9571353B1 (en) | Compact service status processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140723 |
|
| RJ01 | Rejection of invention patent application after publication |