CN107092683A - 一种日志处理系统和方法 - Google Patents

Abstract

本发明提供的日志处理系统和方法，每个日志采集模块采集与其对应的业务系统的日志数据并发送至日志接收模块；日志接收模块对接收的日志数据进行预处理操作，预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式；日志存储模块将经过预处理的日志数据存储至分布式数据库中；日志处理模块接收业务系统的日志处理请求，根据日志处理请求进行相应的数据处理，并将处理结果发送至发出日志处理请求的业务系统。通过本发明提供的日志处理系统对公司各业务系统的日志进行统一管理，实现日志采集与处理可复用，以及数据格式统一管理。

Description

一种日志处理系统和方法

技术领域

本发明涉及数据处理领域，更具体地说，涉及一种日志处理系统和方法。

背景技术

随着网络业务的不断发展，每个公司内部的业务系统的构建越来越多，例如OA系统、人力资源系统和物料管理系统等。每个业务系统都使用独立的日志管理模块，各个系统之间，在日志采集与处理方法上无法复用，在日志格式上存在异构。同时，各系统中的日志没有统一集中管理，从公司层面上造成日志管理的混乱。

发明内容

有鉴于此，本发明提出一种日志处理系统和方法，欲实现多源日志的统一管理，日志采集与处理的复用，以及数据格式统一管理的目的。

为了实现上述目的，现提出的方案如下：

一种日志处理系统，包括：日志接收模块、日志存储模块、分布式数据库、日志处理模块、以及多个日志采集模块，

所述日志采集模块，用于采集与其对应的业务系统的日志数据并发送至所述日志接收模块；

所述日志接收模块，用于接收每个日志采集模块发送的日志数据并进行预处理操作，所述预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式；

所述日志存储模块，用于将经过预处理的日志数据存储至所述分布式数据库中；

所述日志处理模块，用于接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

优选的，所述系统，还包括：

动态资源分配模块，用于针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

优选的，所述系统，还包括：

可定制化模块，用于利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

优选的，所述系统，还包括：

可定制化模块，用于利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理，且，还用于利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

优选的，所述系统还包括：

可定制化模块，利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

一种日志处理方法，包括：

采集多个业务系统的日志数据；

对每个业务系统对应的日志数据进行预处理操作，所述预处理操作包括将每个业务系统对应的日志数据的格式转换为同一格式；

将经过预处理的日志数据存储至分布式数据库中；

接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

优选的，所述方法，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

优选的，所述方法，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

优选的，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析；

在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

优选的，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析。

与现有技术相比，本发明的技术方案具有以下优点：

上述技术方案提供的日志处理系统和方法，每个日志采集模块采集与其对应的业务系统的日志数据并发送至日志接收模块；日志接收模块对接收的日志数据进行预处理操作，预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式；日志存储模块将经过预处理的日志数据存储至分布式数据库中；日志处理模块接收业务系统的日志处理请求，根据日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。通过本发明提供的日志处理系统对公司各业务系统的日志进行统一管理，实现日志采集与处理可复用，以及数据格式统一管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种日志处理系统的示意图；

图2为本发明实施例提供的另一种日志处理系统的示意图；

图3为本发明实施例提供的一种日志处理方法的流程图；

图4为本发明实施例提供的另一种日志处理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种日志处理系统，参见图1所示，该系统包括：日志接收模块11、日志存储模块12、分布式数据库13、日志处理模块14、以及多个日志采集模块15，每个日志采集模块15对应一个业务系统。

每个日志采集模块15，用于采集与其对应的业务系统的日志数据并发送至所述日志接收模块。日志采集模块是工具类JAR包，将JAR包添加到业务系统的lib库中，并配置相关路径即可。日志采集模块支持在操作类文件中耦合式的添加日志行为，同时支持SpringAOP解耦式的日志采集行为。业务系统在启动时加载JAR包中的LogCollector类，并完成在日志处理系统中的注册工作。各个业务系统中的JAR包相当于日志处理系统安装在各个日志源中的日志采集Agent，JAR包中的LogController类在初始化时会向日志接收模块发送Agent注册信息，告知日志处理系统该日志源(业务系统)名称、IP等相关信息。

日志采集模块15支持实时和非实时两种同步方式，针对实时性要求高的日志数据，业务系统每次触发行为操作时，采集模块都会主动连接日志接收模块进行数据同步；针对实时性要求不高的日志数据，业务系统触发行为操作时，日志采集模块会先将其存储在本地端，并在后续某个时刻将该时间段本地端暂存的日志数据统一打包发送给日志采集模块。

日志接收模块11，用于接收每个日志采集模块发送的日志数据并进行预处理操作，预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式。日志接收模块完成各LogCollector类的注册工作；以及对接收到的日志数据进行识别、格式转换、数据清理等预处理操作。通过格式转换，实现数据格式统一管理。

日志存储模块12，用于将经过预处理的日志数据存储至分布式数据库13中。具体的分布式数据库13可以为HBase。

日志处理模块14，用于接收业务系统的日志处理请求，根据日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。日志处理模块14可以通过WebService接口接收来自各个业务系统的日志处理请求，日志处理请求包括查询、统计、分析处理等。日志处理模块14将最终处理结果输出到日志处理相关路径下的结果文件中，并给业务系统一个反馈信息，该反馈信息中包含日志处理的相关情况(如总处理条目数、处理失败条目数、日志处理结果读取路径等)，业务系统接收到反馈信息后到该路径下读取处理结果；或将最终处理结果通过网络回传给所请求的业务系统，避免业务系统再次发送读取请求。

本发明实施例提供的日志处理系统，每个日志采集模块15采集与其对应的业务系统的日志数据并发送至日志接收模块11；日志接收模块11对接收的日志数据进行预处理操作，预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式；日志存储模块12将经过预处理的日志数据存储至所述分布式数据库13中；日志处理模块14接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。通过本发明提供的日志处理系统对公司各业务系统的日志进行统一管理，实现日志采集与处理可复用，以及数据格式统一管理。

参见图2所示，为本发明实施例提供的另一种日志处理系统，该系统还包括：动态资源分配模块16，用于针对每个业务系统，对在所述分布式数据库13中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库13中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

针对每个业务系统，预先设置与其对应的容量阈值。如对业务系统A分配1TB存储空间，对业务系统B分配200GB存储空间等。这样当分布式数据库中存储的业务系统A的日志数据容量达到1TB时，将清除该日志源最早存储的1/4TB的日志数据(即1/4门限容量的日志数据，清除的日志数据量可以根据需要预先设置)，第一日志数据即该被清除的最早存储的1/4TB的日志数据，非第一日志数据即分布式数据库中剩下的业务系统A的日志数据。如果存储的业务系统A的日志数据增速很快，每隔几天就达到1TB的阈值，导致频繁清除日志的情况，还可以通过修改配置文件为业务系统A分配5TB的存储空间，即可动态为业务系统A的日志数据存储进行扩容，当业务系统A的日志数据存储达到5TB时才会进行日志清除工作。

本实施提供的另一种日志处理系统，实现动态资源分配。现有技术中由于各业务系统管理各自日志数据，其日志数据存储在业务系统自身分布式数据库中，日志量过大时，无法动态调整该业务系统自身存储资源。本发明实施例利用动态资源分配模块16对日志处理系统的分布式数据库13中存储的日志数据，进行动态资源分配，避免了业务系统使用过程中存储空间不足造成的资源分配问题。

优选的，日志处理系统，还可以包括：可定制化模块。

可定制化模块，用于利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。离线分析任务一般在系统负荷较低时执行。离线分析可包含日新增用户注册数、付费率、日用户付费金额统计等。可定制化模块，还可以用于利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。实时分析可包含当前在线用户数、当前高频访问url统计等。进而实现高效的流式日志实时分析，以及高效海量日志离线分析功能，提升日志分析处理效率。CustomProcessor抽象类作为定制化处理器。各业务系统如有日志实时分析、海量离线分析的日志处理需求，只需继承该类并复写相关处理逻辑，并在日志管理系统进行加载即可。

本发明实施例提供一种日志处理方法，参见图3所示，该方法包括：

步骤S11：采集多个业务系统的日志数据；

步骤S12：对每个业务系统对应的日志数据进行预处理操作，所述预处理操作包括将每个业务系统对应的日志数据的格式转换为同一格式；

步骤S13：将经过预处理的日志数据存储至分布式数据库中；

步骤S14：接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

本发明实施例提供的日志处理方法，采集多个业务系统的日志数据；对每个业务系统对应的日志数据进行预处理操作，所述预处理操作包括将每个业务系统对应的日志数据的格式转换为同一格式；将经过预处理的日志数据存储至分布式数据库中；日接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。通过本发明提供的日志处理方法对公司各业务系统的日志进行统一管理，实现日志采集与处理可复用，以及数据格式统一管理。

本发明实施例提供另一种日志处理方法，参见图4所示，步骤S21、S22、S23、S24分别与步骤S11、S12、S13、S14相同，该方法包括：

步骤S21：采集多个业务系统的日志数据；

步骤S22：对每个业务系统对应的日志数据进行预处理操作，所述预处理操作包括将每个业务系统对应的日志数据的格式转换为同一格式；

步骤S23：将经过预处理的日志数据存储至分布式数据库中；

步骤S24：接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

步骤S25：针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据的在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

本发明实施例的分布式数据库中存储的日志数据，进行动态资源分配，避免了业务系统使用过程中存储空间不足造成的资源分配问题。

优选的，日志处理方法，还可以包括：利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理，和/或，利用Storm对日志接收模块接收的实时日志数据进行实时分析。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

对于方法实施例而言，由于其基本相应于系统实施例，所以相关之处参见系统实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对本发明所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种日志处理系统，其特征在于，包括：日志接收模块、日志存储模块、分布式数据库、日志处理模块、以及多个日志采集模块，

所述日志采集模块，用于采集与其对应的业务系统的日志数据并发送至所述日志接收模块；

所述日志接收模块，用于接收每个日志采集模块发送的日志数据并进行预处理操作，所述预处理操作包括将每个日志采集模块发送的日志数据的格式转换为同一格式；

所述日志存储模块，用于将经过预处理的日志数据存储至所述分布式数据库中；

所述日志处理模块，用于接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

动态资源分配模块，用于针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括：

可定制化模块，用于利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

4.根据权利要求3所述的系统，其特征在于，所述可定制化模块，还用于：

利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：

可定制化模块，利用Storm对所述日志接收模块接收的实时日志数据进行实时分析。

6.一种日志处理方法，其特征在于，包括：

采集多个业务系统的日志数据；

对每个业务系统对应的日志数据进行预处理操作，所述预处理操作包括将每个业务系统对应的日志数据的格式转换为同一格式；

将经过预处理的日志数据存储至分布式数据库中；

接收业务系统的日志处理请求，根据所述日志处理请求进行相应的数据处理，并将处理结果发送至发出所述日志处理请求的业务系统。

7.根据权利要求6所述的方法，其特征在于，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

针对每个业务系统，对在所述分布式数据库中存储的日志数据容量进行监测，当日志数据容量超过与其对应的预设容量阈值后，清除该业务系统在所述分布式数据库中存储的第一日志数据，所述第一日志数据的容量为预设第一容量，所述第一容量大于零且小于所述容量阈值，所述第一日志数据在所述分布式数据库中的存储时间早于该业务系统的非所述第一日志数据。

8.根据权利要求6所述的方法，其特征在于，在所述将经过预处理的日志数据存储至分布式数据库中后，还包括：

利用MapReduce对所述分布式数据库中存储的日志数据进行离线分析处理。

9.根据权利要求8所述的方法，其特征在于，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析。

10.根据权利要求6所述的方法，其特征在于，所述方法，还包括：

利用Storm对日志接收模块接收的实时日志数据进行实时分析。