CN111309552A - 业务日志采集系统和方法 - Google Patents

Abstract

本发明涉及一种业务日志采集系统和方法，该系统中：系统操作单元用于判断当前业务系统的业务日志的输出方式，并根据输出方式确定当前业务系统对应的日志收集转发单元的配置参数；日志收集转发单元根据相应的配置参数进行配置；日志收集转发单元与业务服务器进行绑定，以通过业务服务器获取各个业务系统的各个业务日志；日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，各个日志处理器根据配置文件对各个业务日志进行分析和处理。这样得到的日志业务采集系统，具有分治和冗余的特性，采用流水线式和负载均衡处理方法，该采集系统易于维护，可用性高。

Description

业务日志采集系统和方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种业务日志采集系统和方法。

背景技术

随着科技的发展和进步，各个公司业务扩张，业务流量越来越大，业务请求所产生的日志量也越来越大，因此，面临着业务流量的高并发输入带来相同数量等级的业务日志的输出。而现有技术中，与业务服务器绑定式的日志收集工具已经难以支撑。另外，随着公司规模的扩展，业务流量入口横向扩展，业务入口出现多实例、多机房部署等对绑定日志收集工具的可维护性和高可用性挑战极高的复杂结构。

发明内容

有鉴于此，提供一种业务日志采集系统和方法，以解决现有技术中业务流量过大导致的日志收集系统不易维护以及可用性差的问题。

本发明采用如下技术方案：

第一方面，本申请实施例提供了一种业务日志采集系统，该系统包括：业务系统操作单元、业务服务器、数据库服务器、日志收集转发单元和日志处理器；

系统操作单元用于判断当前业务系统的业务日志的输出方式，并根据所述输出方式确定所述当前业务系统对应的日志收集转发单元的配置参数；所述日志收集转发单元根据相应的配置参数进行配置；

所述日志收集转发单元与所述业务服务器进行绑定，以通过所述业务服务器获取各个业务系统的各个业务日志；

所述日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；

所述各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，所述各个日志处理器根据所述配置文件对所述各个业务日志进行分析和处理。

第二方面，本申请实施例提供了一种业务日志采集方法，该方法包括：

系统操作单元根据当前业务系统的业务日志输出方式确定所述当前业务系统对应的日志收集转发单元的配置参数；

所述日志收集转发单元根据所述配置参数进行配置；

所述日志收集转发单元与所述业务服务器进行绑定，以通过所述业务服务器获取各个业务系统的各个业务日志；

所述日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；

所述各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，所述各个日志处理器根据所述配置文件对所述各个业务日志进行分析和处理。

本发明采用以上技术方案提供的业务日志采集系统包括业务系统操作单元、业务服务器、数据库服务器、日志收集转发单元和日志处理器，其中，系统操作单元用于判断当前业务系统的业务日志的输出方式，以便根据输出方式确定当前业务系统对应的日志收集转发单元的配置参数，进而日志收集转发单元根据相应的配置参数进行配置。另外，日志收集转发单元与业务服务器进行绑定，以通过业务服务器获取各个业务系统的各个业务日志；日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，各个日志处理器根据配置文件对各个业务日志进行分析和处理。这样得到的日志业务采集系统，具有分治和冗余的特性，并且，采用流水线式和负载均衡处理方法，该采集系统易于维护，可用性高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种业务日志采集系统的结构示意图；

图2是本发明实施例中适用的一种业务日志采集系统架构图；

图3是本发明实施例中适用的一种分治操作的示意图；

图4是本发明实施例中适用一种冗余的示意图；

图5是本发明实施例提供的一种业务日志采集方法的流程图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

实施例

图1为本发明实施例提供的一种业务日志采集系统的结构示意图。参考图1，系统具体包括业务系统操作单元11、业务服务器12、数据库服务器13、日志收集转发单元14和日志处理器15。

其中，系统操作单元用于判断当前业务系统的业务日志的输出方式，并根据输出方式确定当前业务系统对应的日志收集转发单元的配置参数；日志收集转发单元根据相应的配置参数进行配置；日志收集转发单元与业务服务器进行绑定，以通过业务服务器获取各个业务系统的各个业务日志；日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，各个日志处理器根据配置文件对各个业务日志进行分析和处理。

具体的，本申请实施例的业务日志采集系统中，业务系统操作单元11为业务系统中的主要处理单元，用来判断当前业务系统的业务日志的输出方式，由于不同的业务系统的输出方式对应的日志系统中的日志收集转发器的配置不同，因此，通过判断当前业务系统的日志输出方式来确定当前业务系统对应的日志转发单元的配置参数。然后日志收集转发单元根据相应的配置参数进行配置。示例性的，日志收集转发单元可以是通过纯软件实现，还可以是通过硬件和软件配合实现。当有多个业务应用时，则可以应用多个日志收集转发单元来进行业务日志的收集和转发。

另外，多个日志收集转发单元和各个业务服务器进行绑定，然后通过各个业务服务器来获取各个业务系统的各个业务日志。这样取消了日志收集转发单元与业务服务器之间不必要的通信，提升了日志收集转发单元的性能。需要说明的是，这里的业务服务器可以是多个，也可以是多个。假如是一个，可能与多个日志收集转发单元进行绑定；假如是多个，可以是每个业务服务器分别与对应的每个日志收集转发单元进行绑定。

另外，按照设定缓存规则将批量业务日志发送至各个日志处理器具体可以通过如下方式实现：按照设定缓存规则确定待发送的批量业务日志的数量；根据待发送的批量业务日志的数量和负载均衡条件，将待发送的批量业务日志发送至各个日志处理器。具体的，开启缓存功能，设定的缓存规则可以是时间规则还可以是数量规则，其中，时间规则可以是比如缓存一定时间后进行提交，数量规则可以是缓存一定数量后提交。可选的，在待发送的批量业务日志的数量确定后，可以达到流水线批量处理业务日志以及减轻日志处理器负担的目的。另外，还可以结合负载均衡条件，比如，哪个节点的当前负载数小于可容纳的负载数，这样实现了对负载均衡功能的开启。进而达到日志系统高可用以及处理高并发能力强的效果。

另外，各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，各个日志处理器根据配置文件对各个业务日志进行分析和处理。其中，设定部署方式包括在日志处理器上部署rsync和inotify，这样可以实时同步各个日志处理器之间的配置文件。当各个日志处理器之间的配置文件同步完成后，可以根据各个配置文件对各个业务日志进行相应的分析和处理。

本发明采用以上技术方案提供的业务日志采集系统包括业务系统操作单元、业务服务器、数据库服务器、日志收集转发单元和日志处理器，其中，系统操作单元用于判断当前业务系统的业务日志的输出方式，以便根据输出方式确定当前业务系统对应的日志收集转发单元的配置参数，进而日志收集转发单元根据相应的配置参数进行配置。另外，日志收集转发单元与业务服务器进行绑定，以通过业务服务器获取各个业务系统的各个业务日志；日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，各个日志处理器根据配置文件对各个业务日志进行分析和处理。这样得到的日志业务采集系统，具有分治和冗余的特性，并且，采用流水线式和负载均衡处理方法，该采集系统易于维护，可用性高。

可选的，配置文件包括业务系统操作单元根据业务日志的格式和业务系统日志分析需求确定的正则表达式和解析插件。正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个规则的文本。其中，判断业务系统日志的格式和业务系统日志分析的需求，配置日志处理器解析所用的正则表达式和解析插件。另外，还可以在日志处理器的配置文件中填写关于持久化数据源的地址信息，然后启动各个日志处理器。

可选的，以通过业务服务器获取各个业务系统的各个业务日志，包括：通过业务服务器获取各个业务日志对应的套接字，来获取各个业务系统的业务日志。其中，socket，又称为套接字，是一个抽象层，应用程序可以通过它发送或接收数据，可对其进行像对文件一样的打开、读写和关闭等操作。具体的，在各个业务系统在获取各个业务日志的过程中，通过业务服务器来获取各个业务日志对应的套接字，进而获取各个业务系统的业务日志。

可选的，业务系统为多个，各个业务系统分布在多个网络区域中。示例性的，一个网络区域可以是一个局域网，还可以是指一个机房等；业务系统可以是指一个计算机设备。本申请实施例提供了多机房、多入口和业务承载量大的环境下业务日志收集的解决方案。

可选的，日志收集转发单元通过设定传输协议将各个业务日志发送给各个日志处理器；设定传输协议包括传输控制协议。其中，设定的传输协议可以是TCP(TransmissionControl Protocol，传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议。具体的，日志收集转发单元通过设定传输协议将各个业务日志发送给各个处理。

综上，本申请实施例中，通过将单个日志收集工具的职责进行拆分，使系统组件具有高内聚和低耦合的特性，高内聚也行促使了系统中的组件优化，例如，日志收集转发单元进行了内部处理过程优化，包括流水线批处理和负载均衡。而低耦合特性将日志处理单元变为可横向拓展的组件，进而提高整个日志收集系统的高并发处理能力和冗余能力。

为了使本申请的技术方案更容易理解，图2示出了一种业务日志采集系统架构图。参考图2，仅示出一个数据库服务器、两个日志处理器、区域A中的两个日志收集转发单元和两个业务应用、区域B中的两个日志收集转发单元和两个业务应用。数量等只是用来示例，并不形成具体的限定。

图3是本发明实施例中适用的一种分治操作的示意图。参考图3，可以将整个分治过程分为三步，分解、治理和归并，而分治思想的表现形式多样，例如分层和分块。分治中，问题越小越容易被解决，并且，只要解决了所有子问题，父问题就都可以被解决。但是，需要满足一个条件：不同分支上的子问题，不能相互依赖，需要各自独立。假如包含了依赖关系，子问题和父问题之间就失去了可以被归并的意义。在软件开发领域，这个概念称为耦合度和内聚度。具体的，耦合度，指的是软件模块之间相互依赖的程度。比如，每次调用方法A之后都需要同步调用方法B，那么此时方法A和B间的耦合度高。内聚度，指的是模块内的元素具有的共同点的相似程度。比如，一个类中的多个方法有很多的共同之处，都是做支付相关的处理，那么这个类的内聚度高。内聚度通常与耦合度形成对比。低耦合通常与高内聚相关，反之亦然。所以，当在进行分治时，需要重点考虑耦合度和内聚度。

图4是本发明实施例中适用一种冗余的示意图。参考图4，这里的冗余并不等同于代码的冗余，也不是无意义的重复劳动，而是有目的增加重复部分，主要是为了在一定范围内出现故障时保证系统不受影响。具体的，可以将冗余的节点部署在一个独立的环境中。这个独立的环境也可以称为区域，可能是处于同一个局域网内的不同主机，也可能是在不同的局域网，还可能是在不同的机房。显而易见的，上述独立的环境能够应对的故障范围是逐步递增的。但是，假如只是为了备用而做的冗余的弊端是，如果没有出现故障，冗余的这部分资源就会造成浪费。所以，我们才提出了诸如双主多活、读写分离之类的概念，以提高资源利用率。另外除了软件层面，硬件层面的冗余也是同样的道理。比如，磁盘阵列可以容忍几块之内磁盘损坏，而不会影响整体。但是当故障影响范围大于冗余的容量时，系统依然会无法正常工作。因此，在无法预知故障的发生情况时，冗余时还需要平衡成本问题。

图5是本申请实施例提供的一种业务日志采集方法的流程图，参考图5。

S501、系统操作单元根据当前业务系统的业务日志输出方式确定当前业务系统对应的日志收集转发单元的配置参数。

S502、日志收集转发单元根据配置参数进行配置。

S503、日志收集转发单元与业务服务器进行绑定，以通过业务服务器获取各个业务系统的各个业务日志。

S504、日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器。

S505、各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，各个日志处理器根据配置文件对各个业务日志进行分析和处理。

本发明采用以上技术方案提供的业务日志采集系统包括业务系统操作单元、业务服务器、数据库服务器、日志收集转发单元和日志处理器，其中，系统操作单元用于判断当前业务系统的业务日志的输出方式，以便根据输出方式确定当前业务系统对应的日志收集转发单元的配置参数，进而日志收集转发单元根据相应的配置参数进行配置。另外，日志收集转发单元与业务服务器进行绑定，以通过业务服务器获取各个业务系统的各个业务日志；日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，各个日志处理器根据配置文件对各个业务日志进行分析和处理。这样得到的日志业务采集系统，具有分治和冗余的特性，并且，采用流水线式和负载均衡处理方法，该采集系统易于维护，可用性高。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种业务日志采集系统，其特征在于，包括：业务系统操作单元、业务服务器、数据库服务器、日志收集转发单元和日志处理器；

系统操作单元用于判断当前业务系统的业务日志的输出方式，并根据所述输出方式确定所述当前业务系统对应的日志收集转发单元的配置参数；所述日志收集转发单元根据相应的配置参数进行配置；

所述日志收集转发单元与所述业务服务器进行绑定，以通过所述业务服务器获取各个业务系统的各个业务日志；

所述日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；

所述各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，所述各个日志处理器根据所述配置文件对所述各个业务日志进行分析和处理。

2.根据权利要求1所述的系统，其特征在于，所述配置文件包括所述业务系统操作单元根据业务日志的格式和业务系统日志分析需求确定的正则表达式和解析插件。

3.根据权利要求2所述的系统，其特征在于，所述配置文件还包括持久化数据源的地址信息。

4.根据权利要求1所述的系统，其特征在于，所述按照设定缓存规则将批量业务日志发送至各个日志处理器包括：

按照设定缓存规则确定待发送的批量业务日志的数量；

根据所述待发送的批量业务日志的数量和负载均衡条件，将所述待发送的批量业务日志发送至各个日志处理器。

5.根据权利要求1所述的系统，其特征在于，以通过所述业务服务器获取各个业务系统的各个业务日志，包括：

通过所述业务服务器获取各个业务日志对应的套接字，来获取各个业务系统的业务日志。

6.根据权利要求1所述的系统，其特征在于，所述设定部署方式包括在日志处理器上部署rsync和inotify。

7.根据权利要求1所述的系统，其特征在于，所述业务系统为多个，各个业务系统分布在多个网络区域中。

8.根据权利要求1所述的系统，其特征在于，所述日志收集转发单元通过设定传输协议将各个业务日志发送给各个日志处理器。

9.根据权利要求8所述的系统，其特征在于，所述设定传输协议包括传输控制协议。

10.一种业务日志采集方法，其特征在于，包括：

系统操作单元根据当前业务系统的业务日志输出方式确定所述当前业务系统对应的日志收集转发单元的配置参数；

所述日志收集转发单元根据所述配置参数进行配置；

所述日志收集转发单元与所述业务服务器进行绑定，以通过所述业务服务器获取各个业务系统的各个业务日志；

所述日志收集转发单元按照设定缓存规则将批量业务日志发送至各个日志处理器；

所述各个日志处理器根据设定部署方式同步各个日志处理器之间的配置文件，所述各个日志处理器根据所述配置文件对所述各个业务日志进行分析和处理。

Images