CN107832352A - 日志自动处理方法、装置、存储介质及设备 - Google Patents

Abstract

本发明提供了一种日志自动处理方法、装置、存储介质及设备，该方法包括：根据Client端的本机配置文件从Server端获取日志处理配置文件；在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理。本发明通过设置Client端和Server端两部分，并仅将日志处理配置文件设置在Server端，能够实现日志的统一管理。

Description

日志自动处理方法、装置、存储介质及设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志自动处理方法、装置、存储介质及设备。

背景技术

日志文件是记录系统运行状况的主要手段，是从提出需求、需求分析、技术方案到生产运维都需要考虑到的重要内容。

在不同的阶段，日志的管理者不尽相同。目前，日志的设计和生成由开发部门执行；日志的控制、管理(压缩和删除)由应用运维团队执行；日志的备份和存储由运行团队执行。职责的不同使工作人员对日志的管理策略不尽相同。

目前，应用部署在不同的机器上，日志的压缩、备份、删除等处理相对分散，一旦调整相关设置，就会出现管理半径大、工作量大等问题。

发明内容

本发明提供了一种日志自动处理方法、装置、存储介质及设备，以使实现日志的统一管理。

本发明实施例提供一种日志自动处理方法，包括：根据Client端的本机配置文件从Server端获取日志处理配置文件；在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理。

实施例中，日志处理配置文件的文件名包括Client端的主机名；日志处理配置文件的配置项包括运行参数设置、发起模式、调用命令、压缩时间点、压缩文件保留时长、删除时间点及需处理日志配置信息中的一个或多个；需处理日志配置信息包括文件路径、文件名、压缩包路径及压缩包名中的一个或多个。

实施例中，Server端为ftp服务器；Client端的本机配置文件包括：结果文件路径、FTP服务器IP、FTP服务器ftp服务端口、FTP服务器用户名、FTP服务器密码、FTP服务器日志处理配置文件所在路径及国密算法解密配置中的一个或多个。

实施例中，在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理，包括：当日志处理配置文件中的发起模式为带库主动发起模式时，在Client端，调用日志压缩程序和/或日志删除程序，并按日志处理配置文件中的压缩时间点和/或删除时间点，定时进行日志压缩处理和/或日志删除处理；当日志处理配置文件中的发起模式为应用主动调起模式时，在Client端，调用COMMAND项配置的命令，进行日志自动处理。

本发明实施例还提供一种日志自动处理装置，包括：配置文件获取单元，用于：根据Client端的本机配置文件从Server端获取日志处理配置文件；日志自动处理单元，用于：在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理。

实施例中，配置文件获取单元，还用于执行：日志处理配置文件的文件名包括Client端的主机名；日志处理配置文件的配置项包括运行参数设置、发起模式、调用命令、压缩时间点、压缩文件保留时长、删除时间点及需处理日志配置信息中的一个或多个；需处理日志配置信息包括文件路径、文件名、压缩包路径及压缩包名中的一个或多个。

实施例中，配置文件获取单元，还用于执行：Server端为ftp服务器；Client端的本机配置文件包括：结果文件路径、FTP服务器IP、FTP服务器ftp服务端口、FTP服务器用户名、FTP服务器密码、FTP服务器日志处理配置文件所在路径及国密算法解密配置中的一个或多个。

实施例中，在Client端，日志自动处理单元，包括：第一日志处理模块，用于：当日志处理配置文件中的发起模式为带库主动发起模式时，在Client端，调用日志压缩程序和/或日志删除程序，并按日志处理配置文件中的压缩时间点和/或删除时间点，定时进行日志压缩处理和/或日志删除处理；第二日志处理模块，用于：当日志处理配置文件中的发起模式为应用主动调起模式时，在Client端，调用COMMAND项配置的命令，进行日志自动处理。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各实施例所述方法的步骤。

本发明实施例的日志自动处理方法、装置、存储介质及设备，设置了Server端和Client端两部分，根据Client端的本机配置文件从Server端获取日志处理配置文件，可以在Client端的各个服务器上完成日志的统一自动处理。通过仅将日志处理配置文件设置在Server端，而不是分布在Client端的各个服务器上，可以在日志记录系统设计阶段就考虑对日志进行自动生成、管理、压缩、备份、删除等处理，从而形成一套统一的管理策略，实现所有应用的一点式管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例的日志自动处理方法的流程示意图；

图2是本发明另一实施例的日志自动处理方法的流程示意图；

图3是本发明又一实施例的日志自动处理方法的流程示意图；

图4是本发明一实施例中Server端配置文件的配置项示意图；

图5是本发明一实施例中Client端配置文件的配置项示意图；

图6是本发明一实施例中压缩包排除文件示意图；

图7是本发明一实施例中主程序运行流程示意图；

图8是本发明一实施例中的日志压缩程序运行流程图；

图9是本发明一实施例中的日志删除程序运行流程图；

图10是本发明一实施例的日志自动处理装置的结构示意图；

图11是本发明一实施例中日志自动处理单元的结构示意图；

图12是本发明一实施例的计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1是本发明一实施例的日志自动处理方法的流程示意图。如图1所示，本实施例的日志自动处理方法，可包括：

步骤S110：根据Client端的本机配置文件从Server端获取日志处理配置文件；

步骤S120：在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理。

在上述步骤S110中，Client端的本机配置文件可以包含Server端的相关信息。日志处理配置文件存储在Server端。在上述步骤S120中，Client端可负责执行日志自动处理动作，例如实现日志的定时备份、压缩、删除等功能。Client端可包括多个服务器。该方法利用Server端和Client端两部分进行日志处理。Server端可为一个ftp服务器，可只用于保存配置文件。Client端从Server端获取配置文件，并可按照配置文件中的配置对指定的日志文件在规定的时间压缩、备份和删除操作。

现有技术中，日志的压缩是和应用程序分离的，即在日志稳定后由脚本完成。目前备份的监控和告警机制不完善，两者不能统一处理完成。现有技术中，日志的备份和删除，应用部署在不同的机器上，日志的压缩、备份、删除相对分散，一旦调整，存在“管理半径大、工作量大、”等缺点，无法实现“所有应用一点管理”。

本实施例中，设置了Client端和Server端两部分，根据Client端的本机配置文件从Server端获取日志处理配置文件，可以在Client端的各个服务器上完成日志的统一自动处理。通过仅将日志处理配置文件设置在Server端，而不是分布在Client端的各个服务器上，可以在日志记录系统设计阶段就考虑对日志进行自动生成、管理、压缩、备份、删除等处理，从而形成一套统一的管理策略，实现所有应用的一点式管理。

实施例中，Client端程序对应目录和Server端程序对应目录可分别如下：

Client端

|--主控运行程序

|--参数配置文件

|--管理策略配置文件

|--日志备份程序

|--日志压缩程序

|--日志删除程序

|--启动脚本

|--停止脚本

|--其他配置文件

Server端

|--Client端配置文件

本实施例中，Server端只用于保存配置文件，各日志处理过程在Client端执行。

实施例中，日志处理配置文件的文件名可包括Client端的主机名；日志处理配置文件的配置项可包括运行参数设置、发起模式、调用命令、压缩时间点、压缩文件保留时长、删除时间点及需处理日志配置信息中的一个或多个；需处理日志配置信息包括文件路径、文件名、压缩包路径及压缩包名中的一个或多个。

实施例中，Server端为ftp服务器；Client端的本机配置文件包括：结果文件路径、FTP服务器IP、FTP服务器ftp服务端口、FTP服务器用户名、FTP服务器密码、FTP服务器日志处理配置文件所在路径及国密算法解密配置中的一个或多个。

实施例中，在上述步骤S120中，在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理的方法，可包括：

当日志处理配置文件中的发起模式为带库主动发起模式时，在Client端，调用日志压缩程序和/或日志删除程序，并按日志处理配置文件中的压缩时间点和/或删除时间点，定时进行日志压缩处理和/或日志删除处理；

当日志处理配置文件中的发起模式为应用主动调起模式时，在Client端，调用COMMAND项配置的命令，进行日志自动处理。

本实施例中，在Client端，调用日志压缩程序，例如log_compress.sh，并按日志处理配置文件中的压缩时间点，定时进行日志压缩处理；在Client端，调用日志删除程序，例如，log_delete.sh，并按日志处理配置文件中的删除时间点，定时进行日志删除处理。删除和压缩日志的先后顺序不作限定。通过调用COMMAND项配置的命令，可以将硬盘上的日志文件保存至上带库。

图2是本发明另一实施例的日志自动处理方法的流程示意图。如图2所示，图1所示的日志自动处理方法，还可包括：

步骤S130：记录日志处理配置文件中变化的配置项。

本实施例中，通过记录日志处理配置文件中变化的配置项，可以及时发现日志处理配置文件中的变化配置项，进一步可以进行报错等处理，从而可以防止主程序自动处理出现不明原由的问题，例如死循环。

图3是本发明又一实施例的日志自动处理方法的流程示意图。如图3所示，图1所示的日志自动处理方法，还可包括：

步骤S140：根据日志自动处理结果记录日志。

本实施例中，通过根据日志自动处理结果记录日志，建立了日志处理的辅助日志，能够让工作人员了解日志的处理情况。

实施例中，Server端可为一ftp服务器。可在ftp服务器新建一目录，用来存放配置文件。ftp服务器端配置文件的文件名可使用例如hostname.ini，其中hostname为Client端的hostname。图4是本发明一实施例中Server端配置文件的配置项示意图。如图4所示，Server端配置文件的配置项可包括：运行参数设置、发起模式、调用命令、压缩时间点、压缩文件保留时长、删除时间点及需处理日志配置信息；需处理日志配置信息包括文件路径、文件名及压缩包路径及压缩包名。其中，发起模式可包括带库主动发起模式1和应用主动调起模式0。压缩进行的时间点例如可为日志文件生成1915秒后，压缩文件保留的天数例如可为7天，删除时间点例如可为日志生成1916秒后。需要处理的日志配置信息中，例如，路径为/ipps/lyb_test/IPPSremote，文件名为IPPS*，压缩包路径为/ipps/lyb_test/IPPSremote，压缩包名为remotelog2。

图5是本发明一实施例中Client端配置文件的配置项示意图。图5显示本机配置文件cfg.ini的配置项。如图5所示，密码可使用国密算法解密，使用国密工具获得密码的密文，加解密标准统一。

图6是本发明一实施例中压缩包排除文件示意图。实施例中，压缩包排除文件excludeList，图4中，LOGFILE项配置了需要进行处理的日志的文件路径以及文件名通配符，excludeLIst文件可用于排除一些符合前面配置的文件不被压缩。如图6所示，利用*.tar和*.gz两行可以避免当压缩文件被保存到原日志路径时，压缩文件被匹配至配置的文件名，从而导致文件被多次压缩的问题。

图7是本发明一实施例中主程序运行流程示意图。此脚本为本应用的主要程序。图7显示主程序的主要执行操作。脚本开始运行后，从Server端的ftp服务器获取配置文件，判断是否成功获取配置文件，如果正确，记录配置文件中变化的配置项。之后，获取配置文件中的配置项数据，然后，判断配置项数据中的模式类型。如果模式为应用主动调起模式0，则调用COMMAND项配置的命令，并记录调用命令的日志。如果模式是带库主动发起模式1，则首先判断配置文件中各配置项的格式是否正确，如果正确则根据压缩时间点确定是否调用log_compress.sh命令压缩硬盘上的日志文件。根据删除操作时间点，确认是否调用log_delete.sh命令删除硬盘上的日志文件。如果未能成功获取配置文件，则记录获取配置文件失败的日志。如果配置项格式不正确，则记录配置项格式错误的日志。本实施例中，使用同一主程序，可以实现日志同一管理。

在程序环境准备阶段，可以包含如下操作：

1.把相关程序件目录下的文件通过FTP方式上传到需要部署的机器。

2.目录下给脚本赋予执行权限

3.建立辅助log目录

4.运行启动脚本开始执行程序。

5.运行停止脚本可以结束程序。

实施例中，在带库主动发起模式1下，可以调用日志压缩程序进行日志处理。图8是本发明一实施例中的日志压缩程序运行流程图。如图8所示，调用日志压缩程序后，首先判断是否存在日志路径(从日志处理配置文件获得)，如果存在，则将当前的工作路径切换到日志所在路径，获取日志文件，然后打包日志文件。之后删除已打包的日志文件，并记录对日志文件进行压缩的日志信息。

实施例中，在带库主动发起模式1下，可以调用日志删除程序进行日志处理。图9是本发明一实施例中的日志删除程序运行流程图。如图9所示，调用日志删除程序后，首先判断是否存在日志路径(从日志处理配置文件获得)，如果存在，则将当前的工作路径切换到日志所在路径，查找所有符合要求的文件，然后判断压缩日期和当前系统时间之差是否超过配置文件中的保存日期，如果是，则删除该文件，并记录日志信息。

与现有的日志管理模式相比，本发明实施例的日志处理方法(改进后的日志管理模式)具有如下优点：在日志管理思路方面，现有模式采用分散式管理，配置文件分布在各个机器，本发明采用集中式管理，配置文件集中在Server端；在日志处理方式方面，现有模式中不同程序完成不同任务(备份、压缩、删除)，本发明中同一主程序完成不同任务(备份、压缩、删除)；在扩展性方面，现有模式为多点配置，本发明仅需Server端一点配置；现有模式中，开发人员不太关注非功能意识，本发明中开发人员意识能够得到强化；在成本方面，现有模式大投入，小产出，本发明开发工作量小，仅产品层开发，程序逻辑简单，消耗系统资源可以忽略不计。

基于与图1所示的日志自动处理方法相同的发明构思，本申请实施例还提供了一种日志自动处理装置，如下面实施例所述。由于该日志自动处理装置解决问题的原理与日志自动处理方法相似，因此该日志自动处理装置的实施可以参见日志自动处理方法的实施，重复之处不再赘述。

图10是本发明一实施例的日志自动处理装置的结构示意图。如图10所示，本实施例的日志自动处理装置，可包括：配置文件获取单元210和日志自动处理单元220，二者相互连接。

配置文件获取单元210，用于：根据Client端的本机配置文件从Server端获取日志处理配置文件；

日志自动处理单元220，用于：在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理。

实施例中，配置文件获取单元210，还可用于执行：日志处理配置文件的文件名包括Client端的主机名；日志处理配置文件的配置项包括运行参数设置、发起模式、调用命令、压缩时间点、压缩文件保留时长、删除时间点及需处理日志配置信息中的一个或多个；需处理日志配置信息包括文件路径、文件名、压缩包路径及压缩包名中的一个或多个。

实施例中，配置文件获取单元210，还可用于执行：Server端为ftp服务器；Client端的本机配置文件包括：结果文件路径、FTP服务器IP、FTP服务器ftp服务端口、FTP服务器用户名、FTP服务器密码、FTP服务器日志处理配置文件所在路径及国密算法解密配置中的一个或多个。

图11是本发明一实施例中日志自动处理单元的结构示意图。如图11所示，日志自动处理单元220，可包括：第一日志处理模块221和第二日志处理模块222。

第一日志处理模块221，用于：当日志处理配置文件中的发起模式为带库主动发起模式时，在Client端，调用日志压缩程序和/或日志删除程序，并按日志处理配置文件中的压缩时间点和/或删除时间点，定时进行日志压缩处理和/或日志删除处理；

第二日志处理模块222，用于：当日志处理配置文件中的发起模式为应用主动调起模式时，在Client端，调用COMMAND项配置的命令，进行日志自动处理。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。

本发明实施例还提供一种计算机设备，如图12所示，计算机设备300包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序，所述处理器320执行所述程序时实现上述各实施例所述方法的步骤。

综上所述，本发明实施例的日志自动处理方法、装置、存储介质及设备，设置了Server端和Client端两部分，根据Client端的本机配置文件从Server端获取日志处理配置文件，可以在Client端的各个服务器上完成日志的统一自动处理。通过仅将日志处理配置文件设置在Server端，而不是分布在Client端的各个服务器上，可以在日志记录系统设计阶段就考虑对日志进行自动生成、管理、压缩、备份、删除等处理，从而形成一套统一的管理策略，实现所有应用的一点式管理。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志自动处理方法，其特征在于，包括：

根据Client端的本机配置文件从Server端获取日志处理配置文件；

在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理。

2.如权利要求1所述的日志自动处理方法，其特征在于，日志处理配置文件的文件名包括Client端的主机名；日志处理配置文件的配置项包括运行参数设置、发起模式、调用命令、压缩时间点、压缩文件保留时长、删除时间点及需处理日志配置信息中的一个或多个；需处理日志配置信息包括文件路径、文件名、压缩包路径及压缩包名中的一个或多个。

3.如权利要求1所述的日志自动处理方法，其特征在于，Server端为ftp服务器；Client端的本机配置文件包括：结果文件路径、FTP服务器IP、FTP服务器ftp服务端口、FTP服务器用户名、FTP服务器密码、FTP服务器日志处理配置文件所在路径及国密算法解密配置中的一个或多个。

4.如权利要求1所述的日志自动处理方法，其特征在于，在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理，包括：

当日志处理配置文件中的发起模式为带库主动发起模式时，在Client端，调用日志压缩程序和/或日志删除程序，并按日志处理配置文件中的压缩时间点和/或删除时间点，定时进行日志压缩处理和/或日志删除处理；

当日志处理配置文件中的发起模式为应用主动调起模式时，在Client端，调用COMMAND项配置的命令，进行日志自动处理。

5.一种日志自动处理装置，其特征在于，包括：

配置文件获取单元，用于：根据Client端的本机配置文件从Server端获取日志处理配置文件；

日志自动处理单元，用于：在Client端，根据日志处理配置文件调用日志处理程序，进行日志自动处理。

6.如权利要求5所述的日志自动处理装置，其特征在于，

配置文件获取单元，还用于执行：日志处理配置文件的文件名包括Client端的主机名；日志处理配置文件的配置项包括运行参数设置、发起模式、调用命令、压缩时间点、压缩文件保留时长、删除时间点及需处理日志配置信息中的一个或多个；需处理日志配置信息包括文件路径、文件名、压缩包路径及压缩包名中的一个或多个。

7.如权利要求5所述的日志自动处理装置，其特征在于，

配置文件获取单元，还用于执行：Server端为ftp服务器；Client端的本机配置文件包括：结果文件路径、FTP服务器IP、FTP服务器ftp服务端口、FTP服务器用户名、FTP服务器密码、FTP服务器日志处理配置文件所在路径及国密算法解密配置中的一个或多个。

8.如权利要求5所述的日志自动处理装置，其特征在于，在Client端，日志自动处理单元，包括：

第一日志处理模块，用于：当日志处理配置文件中的发起模式为带库主动发起模式时，在Client端，调用日志压缩程序和/或日志删除程序，并按日志处理配置文件中的压缩时间点和/或删除时间点，定时进行日志压缩处理和/或日志删除处理；

第二日志处理模块，用于：当日志处理配置文件中的发起模式为应用主动调起模式时，在Client端，调用COMMAND项配置的命令，进行日志自动处理。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4所述方法的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4所述方法的步骤。