CN104869022B - 一种日志采集方法及系统 - Google Patents

Abstract

本发明公开一种日志采集方法及系统，方法包括：获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识；根据所述接收器标识查找接收器在启动时所注册与接收器标识关联的接收器地址；将所述日志文件发送到所述接收器地址。本发明将日志文件按照预设规则保存，则在获取日志文件时能够根据目录规则解释出相应的应用参数和接收器标识，从而进行准确的采集、转发和接收。本发明整个过程无需人工干预，日志文件的采集灵活方便。

Description

一种日志采集方法及系统

技术领域

本发明涉及日志处理相关技术领域，特别是一种日志采集方法及系统。

背景技术

现有的日志文件的采集方法，主要是应用将所生成的日志文件保存在一个预设路径中，然后数据接收端自行从路径中获取。一般的日志采集系统会通过web界面提供各种可选的数据类型和需要传输的路径，用户根据需要选择指定数据类型通过指定的传输路径到达指定的数据接收端，所有的配置好以后数据才能通过指定的路径传输到指定的数据接收端。

然而，现有技术方案需要通过人工手动配置数据传输的路径和数据接收终端，如果新增一种数据类型的传输又需要手动去干预，另外对于通过自动扩容或者弹性规则(生成的数据也不能正确的进行采集和传输。

发明内容

基于此，有必要针对现有技术对日志文件的采集不便，需要人工干预的技术问题，提供一种日志采集方法及系统。

一种日志采集方法，包括：

日志文件获取步骤，包括：获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

解释步骤，包括：对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识；

查找步骤，包括：根据所述接收器标识查找接收器在启动时所注册与接收器标识关联的接收器地址；

转发步骤，包括：将所述日志文件发送到所述接收器地址。

一种日志采集系统，包括：

日志文件获取模块，用于：获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

解释模块，用于：对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识；

查找模块，用于：根据所述接收器标识查找接收器在启动时所注册与接收器标识关联的接收器地址；

转发模块，用于：将所述日志文件发送到所述接收器地址。

本发明将日志文件按照预设规则保存，则在获取日志文件时能够根据目录规则解释出相应的应用参数和接收器标识，从而进行准确的采集、转发和接收。本发明整个过程无需人工干预，日志文件的采集灵活方便。

附图说明

图1为本发明一种日志采集方法的工作流程图；

图2为本发明最佳实施例的系统架构图；

图3为本发明最佳实施例的工作流程图；

图4为本发明一种日志采集系统的结构模块图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示为本发明一种日志采集方法的工作流程图，包括：

步骤S101，包括：获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

步骤S102，包括：对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识；

步骤S103，包括：根据所述接收器标识查找接收器在启动时所注册与接收器标识关联的接收器地址；

步骤S104，包括：将所述日志文件发送到所述接收器地址。

步骤S101中，应用程序(简称：应用)按照预设的目录规则保存日志文件，由于目录规则是根据应用参数和接收器标识所确定的，因此，在步骤S102中，就可以采用相同的目录规则，根据日志文件所保存的目录解释出应用参数和接收器标识。

步骤S103接收器在启动时预先将接收器地址和接收器标识进行注册，使得在步骤S104中能够将日志文件准确地转发到接收器。接收器地址一般为网络地址，例如IP(Internet Protocol)地址等。

本发明采用目录规则确定日志文件，并完善整个日志文件的获取流程，从而对日志文件进行准确的采集、转发和接收。本发明整个过程无需人工干预，日志文件的采集灵活方便。

在其中一个实施例中，所述应用参数包括：应用名称和数据类型。

应用名称用于标识应用，另外，由于同一个应用可以采用不同的接收器以接收不同的数据类型，因此对于不同的数据类型也应该进行标识，以便不同的接收器(也可以是相同的接收器)获取相应类型的日志文件。

在其中一个实施例中，所述目录规则在预先规定的基准目录后按照预设格式确定保存目录，所述格式依次为：基准目录、目录分隔符、应用名称、目录分隔符、数据类型、目录分隔符、接收器标识、目录分隔符。

作为一个例子，基准目录为：“/export/logs/”，目录分隔符为“/”，应用名称是appname1，数据类型是datatype1，接收器标识有id1和id2，日志文件名称是file.log，那么最终应用生成的日志文件的全路径是：/export/logs/appname1/datatype1/id1_id2/file.log

在其中一个实施例中：

所述步骤S101，具体包括：

日志采集客户端获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

所述步骤S102，具体包括：

日志采集客户端对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识，并将所述日志文件的应用参数和接收器标识关联发送到管理中心；

所述步骤S103，具体包括：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址，并将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

所述步骤S104，具体包括：

日志采集客户端将所述日志文件和应用参数发送到转发中心，转发中心根据获取与应用参数关联的接收器地址，根据接收器地址将所述日志文件发送到接收器。

其中，管理中心和转发中心可以是同一设备也可以是不同设备。

如图2所示为本发明最佳实施例的系统架构图，包括：日志采集客户端201、管理中心202、转发中心203和接收器204。

如图3所示为本发明最佳实施例的工作流程图，包括：

步骤S301，给所有生成日志数据的应用规定了基准目录(如/export/logs/)，每一个应用按照规定的目录生成对应的日志文件，生成的具体格式是：基准目录+应用名称+数据类型+接收器标识+日志文件名称，接收器标识可以有多个，使用下划线(_)进行分隔。例如应用名称是appname1，数据类型是datatype1，接收器标识有id1和id2，日志文件名称是file.log，那么最终应用生成的日志文件的全路径是：

/export/logs/appname1/datatype1/id1_id2/file.log。

步骤S302，接收器启动时自动注册自己的地址(ip)和标识(id)到管理中心；

步骤S303，日志采集的客户端以基准目录(/export/logs/)以后开始解析目录结构来确定日志的应用名称、数据类型和传输路径(最终到达的目的地，即接收器地址)；

步骤S304，日志采集客户端解析完应用名称、数据类型等信息以后，就开始调用管理中心api在管理中心注册相应的应用名称和数据类型，并且也采用接收器标识注册这个应用名称和数据类型具体到哪些接收器；

步骤S305，管理中心根据接收到的注册信息生产相应的应用和数据类型的采集和转发信息，并且将转发信息推送给转发中心，那么日志采集客户端发送数据到转发中心以后，转发中心就根据转发信息将数据转发到相应的接收器；

步骤S306，接收器最终接收到日志数据，完成了这个日志采集、转发和接收的自动化处理。

在其中一个实施例中，所述步骤S103具体包括：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址；

对应用参数和接收器标识进行检查：

如果接收器标识在管理中心中未关联应用参数，则将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

如果接收器标识在管理中心中已关联应用参数，则将管理中心中与接收器标识关联的应用参数作为旧应用参数，将从日志采集客户端获取的应用参数作为新应用参数，如果旧应用参数与新应用参数不一致，则将旧应用参数更新为新应用参数，将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存，否则，如果旧应用参数与新应用参数一致，则结束。

采用本方案以后，因为所有的日志文件生成都是根据固定的目录规则生成，那么日志采集客户端通过定期自动扫描日志生成的目录和按照规则进行解析，解析以后把相应信息通过接口调用传输到管理中心，同样的管理中心就可以通知转发中心数据根据需要进行转发。

应用可以在日志文件采集过程中生成新的数据类型，对于新的数据类型，将在新的目录中保存，日志采集客户端获取到日志文件后重新解释后则能自动确定新的数据类型，并在管理中心中进行更新。

如图4所示为本发明一种日志采集系统的结构模块图，包括：

日志文件获取模块401，用于：获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

解释模块402，用于：对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识；

查找模块403，用于：根据所述接收器标识查找接收器在启动时所注册与接收器标识关联的接收器地址；

转发模块404，用于：将所述日志文件发送到所述接收器地址。

在其中一个实施例中，所述应用参数包括：应用名称和数据类型。

在其中一个实施例中，所述目录规则在预先规定的基准目录后按照预设格式确定保存目录，所述格式依次为：基准目录、目录分隔符、应用名称、目录分隔符、数据类型、目录分隔符、接收器标识、目录分隔符。

在其中一个实施例中：

所述日志文件获取模块，具体用于：

日志采集客户端获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

所述解释模块，具体用于：

日志采集客户端对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识，并将所述日志文件的应用参数和接收器标识关联发送到管理中心；

所述查找模块，具体用于：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址，并将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

所述转发模块，具体用于：

日志采集客户端将所述日志文件和应用参数发送到转发中心，转发中心根据获取与应用参数关联的接收器地址，根据接收器地址将所述日志文件发送到接收器。

在其中一个实施例中，所述查找模块具体用于：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址；

对应用参数和接收器标识进行检查：

如果接收器标识在管理中心中未关联应用参数，则将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

如果接收器标识在管理中心中已关联应用参数，则将管理中心中与接收器标识关联的应用参数作为旧应用参数，将从日志采集客户端获取的应用参数作为新应用参数，如果旧应用参数与新应用参数不一致，则将旧应用参数更新为新应用参数，将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存，否则，如果旧应用参数与新应用参数一致，则结束。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种日志采集方法，其特征在于，包括：

日志文件获取步骤，包括：获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

解释步骤，包括：对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识；

查找步骤，包括：根据所述接收器标识查找接收器在启动时所注册与接收器标识关联的接收器地址；

转发步骤，包括：将所述日志文件发送到所述接收器地址。

2.根据权利要求1所述的日志采集方法，其特征在于，所述应用参数包括：应用名称和数据类型。

3.根据权利要求2所述的日志采集方法，其特征在于，所述目录规则在预先规定的基准目录后按照预设格式确定保存目录，所述格式依次为：基准目录、目录分隔符、应用名称、目录分隔符、数据类型、目录分隔符、接收器标识、目录分隔符。

4.根据权利要求1所述的日志采集方法，其特征在于：

所述日志文件获取步骤，具体包括：

日志采集客户端获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

所述解释步骤，具体包括：

日志采集客户端对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识，并将所述日志文件的应用参数和接收器标识关联发送到管理中心；

所述查找步骤，具体包括：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址，并将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

所述转发步骤，具体包括：

日志采集客户端将所述日志文件和应用参数发送到转发中心，转发中心根据获取与应用参数关联的接收器地址，根据接收器地址将所述日志文件发送到接收器。

5.根据权利要求4所述的日志采集方法，其特征在于，所述查找步骤具体包括：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址；

对应用参数和接收器标识进行检查：

如果接收器标识在管理中心中未关联应用参数，则将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

如果接收器标识在管理中心中已关联应用参数，则将管理中心中与接收器标识关联的应用参数作为旧应用参数，将从日志采集客户端获取的应用参数作为新应用参数，如果旧应用参数与新应用参数不一致，则将旧应用参数更新为新应用参数，将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存，否则，如果旧应用参数与新应用参数一致，则结束。

6.一种日志采集系统，其特征在于，包括：

日志文件获取模块，用于：获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

解释模块，用于：对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识；

查找模块，用于：根据所述接收器标识查找接收器在启动时所注册与接收器标识关联的接收器地址；

转发模块，用于：将所述日志文件发送到所述接收器地址。

7.根据权利要求6所述的日志采集系统，其特征在于，所述应用参数包括：应用名称和数据类型。

8.根据权利要求7所述的日志采集系统，其特征在于，所述目录规则在预先规定的基准目录后按照预设格式确定保存目录，所述格式依次为：基准目录、目录分隔符、应用名称、目录分隔符、数据类型、目录分隔符、接收器标识、目录分隔符。

9.根据权利要求6所述的日志采集系统，其特征在于：

所述日志文件获取模块，具体用于：

日志采集客户端获取应用按照预设目录规则所保存的日志文件，所述目录规则根据应用的应用参数和接收器标识确定日志文件的保存目录；

所述解释模块，具体用于：

日志采集客户端对所述日志文件根据所述目录规则进行解释确定所述日志文件的应用参数和接收器标识，并将所述日志文件的应用参数和接收器标识关联发送到管理中心；

所述查找模块，具体用于：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址，并将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

所述转发模块，具体用于：

日志采集客户端将所述日志文件和应用参数发送到转发中心，转发中心根据获取与应用参数关联的接收器地址，根据接收器地址将所述日志文件发送到接收器。

10.根据权利要求9所述的日志采集系统，其特征在于，所述查找模块具体用于：

管理中心根据所述接收器标识查找接收器在启动时在所述管理中心所注册与接收器标识关联的接收器地址；

对应用参数和接收器标识进行检查：

如果接收器标识在管理中心中未关联应用参数，则将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存；

如果接收器标识在管理中心中已关联应用参数，则将管理中心中与接收器标识关联的应用参数作为旧应用参数，将从日志采集客户端获取的应用参数作为新应用参数，如果旧应用参数与新应用参数不一致，则将旧应用参数更新为新应用参数，将所述接收器标识、接收器地址和对应的应用参数关联后发送到转发中心，所述转发中心将接收器标识、接收器地址和对应的应用参数关联保存，否则，如果旧应用参数与新应用参数一致，则结束。