CN104836686B - 一种生成服务器的配置文件的方法及装置 - Google Patents
一种生成服务器的配置文件的方法及装置 Download PDFInfo
- Publication number
- CN104836686B CN104836686B CN201510236698.1A CN201510236698A CN104836686B CN 104836686 B CN104836686 B CN 104836686B CN 201510236698 A CN201510236698 A CN 201510236698A CN 104836686 B CN104836686 B CN 104836686B
- Authority
- CN
- China
- Prior art keywords
- server
- configuration file
- log collection
- information
- collected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种生成服务器的配置文件的方法及装置，包括：获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件；根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件；将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。本发明解决了现有的日志收集系统配置复杂、易出错、扩展不方便的问题。
Description
技术领域
本发明涉及分布式系统，尤指一种生成服务器的配置文件的方法及装置。
背景技术
随着云计算的快速发展，大数据时代已经来临。各种系统执行日志、审计日志、用户操作日志等，使得日志变得越发重要。其中，日志是错误查询、系统恢复、实时监测等操作的重要凭据。在分布式环境下，单机的日志通常无法全面反映系统的信息，只有把各节点的日志综合起来集中式分析，才能找到问题所在，因此分布式环境下的日志收集系统就应运而生。
然而，由于分布式环境下节点数众多，且每个节点上一般都有着不同的日志源，对于每个节点上的日志收集的配置复杂度通常是极高的。一旦日志源的路径、日志生成方式发生变化，或者需要增加或减少节点时，所有相关的配置文件都需要跟着变动。这个过程如果采用人工完成，则出错率是非常高的。
目前常用的技术是通过在每一台需要收集的服务器上，搭建日志Flume或LogStash等开源的日志收集工具，随后手动编写每一个服务器的收集日志用的配置文件，并分发到每一台服务器上，最后启动日志收集工具。其缺点在于：使用任一开源日志收集工具时，都需要繁琐且无可避免的配置工序，通常10台左右用于收集的服务器、每台服务器上收集10个日志项的话，需要编写至少11个(服务器10台，接收端1台)配置文件，每个发送端的配置文件的行数可以达到150行之多，而接受端的配置文件的大小远大于发送端。即至少需要编写150*11＝1650行的配置文件。
其中，假设发送日志的服务器为S1-S10这10台，下面只以服务器S1上的配置文件编写为例进行说明。人工编写配置文件的方法包括以下步骤：
步骤1：设服务器S1上需要收集的服务为V1～Vn；
步骤2：对于每一个服务Vi(i属于1，…，n)，设服务器S1需要收集的日志类型数共有Ni个，即服务器S1上需要配置的日志收集路径总数为N1+N2+…+Nn个；并将第i个服务的第j个日志类型为记为Lij；
步骤3：对于第一个服务V1上的第一个日志类型L11，进行如下处理：
设置source的类型信息；
设置source的bind信息；
设置source的端口信息；
设置source的channel信息；
设置sink的对应type信息；
设置sink的对应channel信息；
设置sink的fill_roll的时间间隔；
设置sink的存储目录；
设置channel的类型信息；
设置channel的checkpointDir；
设置channel的dataDir；
其中，source，channel和sink是日志收集工具flume的三个基本元件，source表示日志的源的配置，sink表示日志的目的的配置，channel是连接日志的源和目的之间的管道的配置；source-channel-sink连接在一起才是一条完整的日志收集线路；而一条或多条日志收集线路所组成的就是代理(agent)，agent是flume启动的最小单元；
步骤4：对于第一个服务剩余的日志路径L12～L1N1，依次执行步骤3的全部操作；
步骤5：对于其它服务V2，…，，依次执行步骤3-步骤4的全部操作；
步骤6：将V1，…，Vn的所有日志类型，都以“r-日志类型-机器名”的形式添加到sources列表中；
步骤7：将V1，…，Vn的所有日志类型，都以“c-日志类型-机器名”的形式添加到channels列表中；
步骤8：将V1，…，Vn的所有日志类型，都以“k-日志类型-机器名”的形式添加到sinks列表中；
步骤9：将步骤6-8的处理结果保存为S1机器的配置文件。
上述如此巨大的工作量若都由人工完成，其易错性是显而易见的，并且还包括一旦编写错误需要调试的时间开销、以及需要修改路径、增减机器时的时间开销，这都是巨大的人力与物力的损失。
发明内容
为了解决上述技术问题，本发明提供了一种生成服务器的配置文件的方法及装置，能够解决现有的日志收集系统配置复杂、易出错、扩展不方便的问题。
为了达到本发明目的，本发明提供了一种生成服务器的配置文件的方法，包括：
获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件；
根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件；
将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。
进一步地，该方法之前还包括：
在所述需要进行日志收集的服务器上搭建日志收集工具；其中，日志收集工具包括：Flume或LogStash。
进一步地，所述在需要进行日志收集的服务器上搭建日志收集工具，包括：
获取所述需要进行日志收集的服务器列表、安装路径、日志收集工具安装包所在路径；
确定所述日志收集工具的安装包在指定路径上存在；
遍历获得的所述服务器列表，在各个服务器上创建安装路径；
将所述日志收集工具安装包复制到所述服务器上，进行解压、安装所述日志收集工具安装包。
进一步地，所述服务器的信息包括：IP地址、对应的端口号、该服务器要收集的服务名称和要收集的路径信息；
所述初始配置文件包括需要进行日志收集的各个服务器的信息，其中，初始配置文件中各个服务器的信息的格式如下：服务器名称-IP地址-对应的端口号-该服务器要收集的服务名称-该服务器要收集的日志类型。
进一步地，所述根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，包括：
设置所述各个服务器上的发送端的代理程序Agent名为webAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与该服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成该服务器的发送端的配置文件；其中，生成的该服务器的发送端的配置文件的名称为：服务器名称.conf。
进一步地，所述根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件，包括：
设置所述各个服务器上的发送端的代理程序Agent名为writeAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与各个服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成各个服务器的接收端的配置文件；其中，生成的各个服务器的接收端的配置文件的名称为：接收端.conf。
进一步地，所述将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器，包括：
获取全部扩展名为conf的配置文件；
将获得的名称为接收端.conf的配置文件发送给接收服务器；
将获得的名称为服务器名称.conf的配置文件按照服务器名称发给对应的发送服务器。
本发明还提供了一种生成服务器的配置文件的装置，其特征在于，包括：第一生成模块、第二生成模块和发送模块；其中，
第一生成模块，用于获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件；
第二生成模块，用于根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件；
发送模块，用于将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。
进一步地，该装置还包括：搭建模块，用于在需要进行日志收集的服务器上搭建日志收集工具；其中，日志收集工具包括：Flume或LogStash。
进一步地，所述搭建模块具体用于：
获取需要进行日志收集的服务器列表、安装路径、日志收集工具安装包所在路径；
确定所述日志收集工具的安装包在指定路径上存在；
遍历获得的所述服务器列表，在各个服务器上创建安装路径；
将所述日志收集工具安装包复制到所述服务器上，进行解压、安装所述日志收集工具安装包。
进一步地，所述服务器的信息包括：IP地址、对应的端口号、该服务器要收集的服务名称和要收集的路径信息；
所述初始配置文件包括需要进行日志收集的各个服务器的信息，其中，初始配置文件中各个服务器的信息的格式如下：服务器名称-IP地址-对应的端口号-该服务器要收集的服务名称-该服务器要收集的日志类型。
进一步地，所述第二生成模块具体用于：
设置所述各个服务器上的发送端的代理程序Agent名为webAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与该服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成该服务器的发送端的配置文件；其中，生成的该服务器的发送端的配置文件的名称为：服务器名称.conf。
进一步地，所述第二生成模块还具体用于：
设置所述各个服务器上的发送端的代理程序Agent名为writeAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与各个服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成各个服务器的接收端的配置文件；其中，生成的各个服务器的接收端的配置文件的名称为：接收端.conf。
进一步地，所述发送模块，具体用于：
获取全部扩展名为conf的配置文件；
将获得的名称为接收端.conf的配置文件发送给接收服务器；
将获得的名称为服务器名称.conf的配置文件按照服务器名称发给对应的发送服务器。
本发明技术方案包括：获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件；根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件；将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。本发明技术方案解决了现有的日志收集系统配置复杂、易出错、扩展不方便的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明生成服务器的配置文件的方法的流程图；
图2为本发明生成服务器的配置文件的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本发明生成服务器的配置文件的方法的流程图，如图1所示，包括以下步骤：
步骤101：获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件。
进一步地，该方法之前还包括：
在需要进行日志收集的服务器上搭建日志收集工具。其中，日志收集工具包括：Flume或LogStash。具体包括：
获取需要进行日志收集的服务器列表、安装路径、日志收集工具安装包所在路径；
确定所述日志收集工具的安装包在指定路径上存在；
遍历获得的所述服务器列表，在各个服务器上创建安装路径；
将所述日志收集工具安装包复制到所述服务器上，进行解压、安装所述日志收集工具安装包。
其中，服务器的信息包括：IP地址、对应的端口号、该服务器要收集的服务名称和要收集的路径信息；
初始配置文件包括需要进行日志收集的各个服务器的信息，其中，初始配置文件中各个服务器的信息的格式如下：服务器名称-IP地址-对应的端口号-该服务器要收集的服务名称-该服务器要收集的日志类型。
其中，根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件，包括：将获得的需要进行日志收集的各个服务器的信息填充到该初始配置文件中。
步骤102：根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件。
本步骤中，可以使用自动部署工具(Linux下的一个命令行工具)生成配置文件，即将初始配置文件作为自动部署工具的输入，从而生成对应的配置文件。
其中，根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，包括：
设置各个服务器上的发送端的代理程序Agent名为webAgent；
遍历各个服务器需要收集的全部日志类型，对各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与该服务器一一对应的服务器名称、IP地址、对应的端口号和要收集的路径信息生成该服务器的发送端的配置文件；其中，生成的该服务器的发送端的配置文件的名称为：服务器名称.conf。
以及，
根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件，包括：
设置各个服务器上的发送端的代理程序Agent名为writeAgent；
遍历各个服务器需要收集的全部日志类型，对各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与各个服务器一一对应的服务器名称、IP地址、对应的端口号和要收集的路径信息生成各个服务器的接收端的配置文件；其中，生成的各个服务器的接收端的配置文件的名称为：接收端.conf。
步骤103：将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。具体包括：
获取全部扩展名为conf的配置文件；
将获得的名称为接收端.conf的配置文件发送给接收服务器；
将获得的名称为服务器名称.conf的配置文件按照服务器名称发给对应的发送服务器。
举例说明，首先，读取生成的配置文件，获得全部扩展名为conf的文件名；其次，遍历全部conf文件并分为两个集合，集合A为接收端.conf，集合B为所有其它的文件；再者，将集合A中的文件发送至接收机器的flume安装路径的conf路径中；最后，对于集合B中的每个文件，进行如下操作：去掉.conf，取前面部分的文件名，来获得机器地址。例如服务器1.conf，只取“服务器1”；确保该机器地址的连通性是否正常；将该配置文件发送至该机器的flume的安装路径的conf路径中。
进一步地，该方法还包括：
当有新的节点增加时，在新加入的节点的服务器上搭建日志收集工具；重复步骤101-步骤103；
当有旧的节点删除时，重复步骤101-步骤103。
本发明通过将初始配置文件生成发送端的配置文件和接收端的配置文件，以及通过将发送端和接收端的配置文件分发给对应的服务器，避免了人工手动书写配置文件带来的弊端，很大程度上减少了出错率，从而解决了现有的日志收集系统配置复杂、易出错、扩展不方便的问题。
图2为本发明自动生成服务器的配置文件的装置的结构示意图，如图2所示，包括：第一生成模块、第二生成模块和发送模块；其中，
第一生成模块，用于获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件。
其中，服务器的信息包括：IP地址、对应的端口号、该服务器要收集的服务名称和要收集的路径信息；
初始配置文件包括需要进行日志收集的各个服务器的信息，其中，初始配置文件中各个服务器的信息的格式如下：服务器名称-IP地址-对应的端口号-该服务器要收集的服务名称-该服务器要收集的日志类型。
第二生成模块，用于根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件。
第二生成模块具体用于：
设置各个服务器上的发送端的代理程序Agent名为webAgent；
遍历各个服务器需要收集的全部日志类型，对各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与该服务器一一对应的服务器名称、IP地址、对应的端口号和要收集的路径信息生成该服务器的发送端的配置文件；其中，生成的该服务器的发送端的配置文件的名称为：服务器名称.conf。
第二生成模块还具体用于：
设置各个服务器上的发送端的代理程序Agent名为writeAgent；
遍历各个服务器需要收集的全部日志类型，对各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与各个服务器一一对应的服务器名称、IP地址、对应的端口号和要收集的路径信息生成各个服务器的接收端的配置文件；其中，生成的各个服务器的接收端的配置文件的名称为：接收端.conf。
发送模块，用于将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。
其中，发送模块，具体用于：
获取全部扩展名为conf的配置文件；
将获得的名称为接收端.conf的配置文件发送给接收服务器；
将获得的名称为服务器名称.conf的配置文件按照服务器名称发给对应的发送服务器。
进一步地，该装置还包括：搭建模块，用于在需要进行日志收集的服务器上搭建日志收集工具；其中，日志收集工具包括：Flume或LogStash。
其中，搭建模块，具体用于：
获取需要进行日志收集的服务器列表、安装路径、日志收集工具安装包所在路径；
确定日志收集工具的安装包在指定路径上存在；
遍历获得的服务器列表，在各个服务器上创建安装路径；
将日志收集工具安装包复制到服务器上，进行解压、安装日志收集工具安装包。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种生成服务器的配置文件的方法，其特征在于，包括：
获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件；
根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件；
将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。
2.根据权利要求1所述的方法，其特征在于，该方法之前还包括：
在所述需要进行日志收集的服务器上搭建日志收集工具；其中，日志收集工具包括：Flume或LogStash。
3.根据权利要求2所述的方法，其特征在于，所述在需要进行日志收集的服务器上搭建日志收集工具，包括：
获取所述需要进行日志收集的服务器列表、安装路径、日志收集工具安装包所在路径；
确定所述日志收集工具的安装包在指定路径上存在；
遍历获得的所述服务器列表，在各个服务器上创建安装路径；
将所述日志收集工具安装包复制到所述服务器上，进行解压、安装所述日志收集工具安装包。
4.根据权利要求1或2所述的方法，其特征在于，所述服务器的信息包括：IP地址、对应的端口号、该服务器要收集的服务名称和要收集的路径信息；
所述初始配置文件包括需要进行日志收集的各个服务器的信息，其中，初始配置文件中各个服务器的信息的格式如下：服务器名称-IP地址-对应的端口号-该服务器要收集的服务名称-该服务器要收集的日志类型。
5.根据权利要求4所述的方法，其特征在于，所述根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，包括：
设置所述各个服务器上的发送端的代理程序Agent名为webAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与该服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成该服务器的发送端的配置文件；其中，生成的该服务器的发送端的配置文件的名称为：服务器名称.conf。
6.根据权利要求4所述的方法，其特征在于，所述根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件，包括：
设置所述各个服务器上的发送端的代理程序Agent名为writeAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与各个服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成各个服务器的接收端的配置文件；其中，生成的各个服务器的接收端的配置文件的名称为：接收端.conf。
7.根据权利要求5或6所述的方法，其特征在于，所述将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器，包括：
获取全部扩展名为conf的配置文件；
将获得的名称为接收端.conf的配置文件发送给接收服务器；
将获得的名称为服务器名称.conf的配置文件按照服务器名称发给对应的发送服务器。
8.一种生成服务器的配置文件的装置，其特征在于，包括：第一生成模块、第二生成模块和发送模块；其中，
第一生成模块，用于获取需要进行日志收集的各个服务器的信息，并根据获得的需要进行日志收集的各个服务器的信息生成初始配置文件；
第二生成模块，用于根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的发送端的配置文件，以及根据生成的初始配置文件分别生成对应于各个需要进行日志收集的服务器上的接收端的配置文件；
发送模块，用于将生成的各个服务器上的发送端和接收端的配置文件分发给对应的服务器。
9.根据权利要求8所述的装置，其特征在于，该装置还包括：搭建模块，用于在需要进行日志收集的服务器上搭建日志收集工具；其中，日志收集工具包括：Flume或LogStash。
10.根据权利要求9所述的装置，其特征在于，所述搭建模块具体用于：
获取需要进行日志收集的服务器列表、安装路径、日志收集工具安装包所在路径；
确定所述日志收集工具的安装包在指定路径上存在；
遍历获得的所述服务器列表，在各个服务器上创建安装路径；
将所述日志收集工具安装包复制到所述服务器上，进行解压、安装所述日志收集工具安装包。
11.根据权利要求8所述的装置，其特征在于，所述服务器的信息包括：IP地址、对应的端口号、该服务器要收集的服务名称和要收集的路径信息；
所述初始配置文件包括需要进行日志收集的各个服务器的信息，其中，初始配置文件中各个服务器的信息的格式如下：服务器名称-IP地址-对应的端口号-该服务器要收集的服务名称-该服务器要收集的日志类型。
12.根据权利要求11所述的装置，其特征在于，所述第二生成模块具体用于：
设置所述各个服务器上的发送端的代理程序Agent名为webAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与该服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成该服务器的发送端的配置文件；其中，生成的该服务器的发送端的配置文件的名称为：服务器名称.conf。
13.根据权利要求11所述的装置，其特征在于，所述第二生成模块还具体用于：
设置所述各个服务器上的发送端的代理程序Agent名为writeAgent；
遍历所述各个服务器需要收集的全部日志类型，对所述各个服务器需要收集的各个日志类型分别进行source信息、sink信息和channel信息设置，以获取对应于各个服务器的配置信息；
根据获得的对应于各个服务器的配置信息与各个服务器一一对应的所述服务器名称、所述IP地址、所述对应的端口号和所述要收集的路径信息生成各个服务器的接收端的配置文件；其中，生成的各个服务器的接收端的配置文件的名称为：接收端.conf。
14.根据权利要求12或13所述的装置，其特征在于，所述发送模块，具体用于：
获取全部扩展名为conf的配置文件；
将获得的名称为接收端.conf的配置文件发送给接收服务器；
将获得的名称为服务器名称.conf的配置文件按照服务器名称发给对应的发送服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510236698.1A CN104836686B (zh) | 2015-05-11 | 2015-05-11 | 一种生成服务器的配置文件的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510236698.1A CN104836686B (zh) | 2015-05-11 | 2015-05-11 | 一种生成服务器的配置文件的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104836686A CN104836686A (zh) | 2015-08-12 |
| CN104836686B true CN104836686B (zh) | 2018-09-07 |
Family
ID=53814337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510236698.1A Active CN104836686B (zh) | 2015-05-11 | 2015-05-11 | 一种生成服务器的配置文件的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104836686B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107748756A (zh) * | 2017-09-20 | 2018-03-02 | 努比亚技术有限公司 | 数据采集方法、移动终端及可读存储介质 |
| CN109491881B (zh) * | 2018-11-01 | 2021-10-29 | 郑州云海信息技术有限公司 | 一种收集日志的方法、装置、设备及可读存储介质 |
| CN112019362B (zh) * | 2019-05-30 | 2022-06-10 | 中移(苏州)软件技术有限公司 | 数据传输方法、装置、服务器、终端、系统及存储介质 |
| CN111930700B (zh) * | 2020-07-13 | 2024-05-31 | 车智互联（北京）科技有限公司 | 一种分布式日志处理方法、服务器、系统和计算设备 |
| CN113076231A (zh) * | 2021-03-26 | 2021-07-06 | 山东英信计算机技术有限公司 | 服务器应用场景设置方法、系统、终端及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101945013A (zh) * | 2010-09-20 | 2011-01-12 | 中兴通讯股份有限公司 | 一种实现服务器配置管理的系统及方法 |
| CN103870297A (zh) * | 2012-12-14 | 2014-06-18 | 北京华胜天成科技股份有限公司 | 云计算环境中虚拟机的性能数据采集系统和方法 |
| CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9317572B2 (en) * | 2010-03-31 | 2016-04-19 | Cloudera, Inc. | Configuring a system to collect and aggregate datasets |
-
2015
- 2015-05-11 CN CN201510236698.1A patent/CN104836686B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101945013A (zh) * | 2010-09-20 | 2011-01-12 | 中兴通讯股份有限公司 | 一种实现服务器配置管理的系统及方法 |
| CN103870297A (zh) * | 2012-12-14 | 2014-06-18 | 北京华胜天成科技股份有限公司 | 云计算环境中虚拟机的性能数据采集系统和方法 |
| CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104836686A (zh) | 2015-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104836686B (zh) | 一种生成服务器的配置文件的方法及装置 | |
| US10649838B2 (en) | Automatic correlation of dynamic system events within computing devices | |
| US8683268B2 (en) | Key based cluster log coalescing | |
| CN105653435A (zh) | 一种网络文件系统nfs的性能测试方法和装置 | |
| CN113067883B (zh) | 数据传输方法、装置、计算机设备及存储介质 | |
| US10824549B1 (en) | System and method for regression testing of an application programming interface | |
| US10922216B1 (en) | Intelligent automation test workflow | |
| CN105450476A (zh) | 一种回归测试系统及测试方法 | |
| CN104993957A (zh) | 一种为使用Log4j的分布式应用提供云端日志服务的方法 | |
| CN105306261A (zh) | 一种收集日志的方法、装置及系统 | |
| CN109062820A (zh) | 一种软件性能测试方法和装置 | |
| CN112765175A (zh) | 一种接口数据的处理方法、装置、计算机设备及介质 | |
| CN109408309A (zh) | 多终端的测试方法及装置 | |
| CN116132553A (zh) | 一种大数据传输优化方法及系统 | |
| CN102422596A (zh) | 用于分析片上系统的多协议网络中的业务传播的方法和设备 | |
| CN107579879A (zh) | 一种网络仿真测试方法、仿真服务器以及存储介质 | |
| CN107181626A (zh) | 分布式存储集群系统网络带宽监测方法及系统 | |
| WO2016173203A1 (zh) | 一种深度网路分析系统的测试方法和装置 | |
| CN113036930A (zh) | 一种电网数据通讯管理系统 | |
| CN117278653A (zh) | 面向分布式站点卫星的数据记录传输系统及方法 | |
| CN103457957B (zh) | 一种具有自适应功能的网络渗透测试系统及方法 | |
| CN104753659B (zh) | 一种多网元数据同步加载的方法、装置及系统 | |
| CN112579383A (zh) | 模拟系统故障的方法及装置 | |
| CN110708209A (zh) | 虚拟机流量采集方法、装置、电子设备及存储介质 | |
| CN101217332A (zh) | 同步数字体系设备的告警测试方法及测试控制平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Yiran Inventor after: Ren Xinqi Inventor after: Feng Shicong Inventor before: Zhang Yiran Inventor before: Ren Xinqi Inventor before: Feng Shicong Inventor before: Wu Minghui |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220602 Address after: 15, second floor, east side of clean coal workshop, No. 68, Shijingshan Road, Shijingshan District, Beijing 100043 (cluster registration) Patentee after: Beijing Zhizhi Heshu Technology Co.,Ltd. Address before: Floor 5, building 1, No. 398, Zhongdong Road, Dongxiaokou Town, Changping District, Beijing 102218 Patentee before: MININGLAMP SOFTWARE SYSTEMS Co.,Ltd. |
|
| TR01 | Transfer of patent right |