CN106802904A - 日志处理方法、装置及系统 - Google Patents

Abstract

本申请公开了一种日志处理方法、装置及系统。其中，该方法包括：数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器。本申请通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总和计算，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的技术问题。

Description

日志处理方法、装置及系统

技术领域

本申请涉及数据处理领域，具体而言，涉及一种日志处理方法、装置及系统。

背景技术

在数据检测和分析领域，经常会收集大量的用户行为、业务操作等数据，用于根据数据分析业务需求进行统计和分析，这种数据通常通过日志的形式存储于业务服务器上。业务服务器根据数据量每小时或每几个小时读取日志中的文本数据，并存储于数据表中，以便于后续的数据分析处理。业务服务器在完成一天或一定时间量的数据收集时，则会对当天、当周或当月的数据按照业务需求进行汇总计算，并存储于业务服务器的汇总结果表中。

目前，有数据分析业务需求的系统一般都是大数据量，或者高实时性的系统，对业务服务器性能要求很高，特别是存在数据交互时，对磁盘的输入/输出(即I/O)压力很大，导致在系统进行日志读取或者汇总计算时，会严重影响业务服务器的性能。

针对相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种日志处理方法、装置及系统，以解决相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种日志处理方法。该方法包括：数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器。

进一步地，数据处理服务器将汇总结果返回给业务服务器包括：检测业务服务器是否处于空闲状态；以及在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

进一步地，数据处理服务器将汇总结果返回给业务服务器包括：数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。

进一步地，数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果包括：数据处理服务器将接收到的日志信息进行存储；数据处理服务器判断存储的日志信息是否达到预设量；以及数据处理服务器在判断出存储的日志信息达到预设量时，按照预设规则对存储的日志信息进行汇总，得到汇总结果。

进一步地，在数据处理服务器接收来自业务服务器的日志信息之前，该方法还包括：批量获取日志信息；对日志信息进行解析，得到日志解析结果；以及将日志解析结果发送至数据处理服务器。

为了实现上述目的，根据本申请的另一方面，提供了一种日志处理装置。该装置包括：接收单元，用于使得数据处理服务器接收来自业务服务器的日志信息；汇总单元，用于使得数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及返回单元，用于使得数据处理服务器将汇总结果返回给业务服务器。

进一步地，返回单元包括：检测模块，用于检测业务服务器是否处于空闲状态；以及第一返回模块，用于在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

进一步地，返回单元包括：第二返回模块，用于使得数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。

为了实现上述目的，根据本申请的又一方面，提供了一种日志处理系统。该系统包括：业务服务器，用于将获取到的日志信息发送给数据处理服务器；以及数据处理服务器，用于接收来自业务服务器的日志信息，按照预设规则对日志信息进行汇总，得到汇总结果，并将汇总结果返回给业务服务器。

进一步地，数据处理服务器还用于检测业务服务器是否处于空闲状态，其中，在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

本申请通过数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器，通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，进而达到了降低日志信息处理对业务服务器的性能的影响的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的日志处理方法的流程图；

图2是根据本申请第二实施例的日志处理方法的流程图；

图3是根据本申请实施例的日志处理装置的示意图；以及

图4是根据本申请实施例的日志处理系统的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例，提供了一种日志处理方法。图1是根据本申请第一实施例的日志处理方法的流程图，如图1所示，该方法包括如下的步骤S102至步骤S106：

步骤S102，数据处理服务器接收来自业务服务器的日志信息。

本申请实施例的数据处理服务可以是任意能够实现日志信息汇总分析的服务器，具体地，用户可以根据业务内容额外配置一台或是多台用于日志信息汇总和计算的服务器，该数据处理服务器能够与业务服务器进行数据通信，例如，接收业务服务器发送的数据以及向业务服务器发送数据等。本申请实施例的业务服务器可以具有获取日志信息、存储日志信息、解析日志信息、分析日志信息等业务处理功能。

可选地，在数据处理服务器接收来自业务服务器的日志信息之前，该方法还包括：批量获取日志信息；对日志信息进行解析，得到日志解析结果；以及将日志解析结果发送至数据处理服务器。

具体地，可以通过网络爬虫等爬取日志信息，并将日志信息存储于业务服务器的数据库中，业务服务器批量地从数据库中读取日志信息，例如，可以根据数据量每隔预设时间长度(例如，每隔1个小时)从数据库中读取日志信息，并对读取的日志信息进行解析，具体地可以通过日志处理程序对日志信息进行解析(例如，解析出日志信息中的IP地址、来源URL、访问时间等信息)，得到日志解析结果，并将日志解析结果直接发送给数据处理服务器。

步骤S104，数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果。

本申请实施例的预设规则为按照业务分析需求设置的规则，例如，可以是按照不同维度(例如，媒体维度、地域维度等)统计不同的指标的值(例如，用户访问数、用户数等指标)。具体地，如果当前需要分析不同地域的用户访问情况，此时数据处理服务器可以按照地域维度统计用户访问数，例如，分别统计北京、上海、广州等地区的用户访问数。

本申请实施例的数据处理服务器在接收到业务服务器发送的日志信息之后，按照预设规则对日志信息进行汇总，并将汇总结果存储于汇总结果表中。

需要说明的是，本申请实施例对日志信息进行汇总不仅包括对日志信息进行整合操作，还包括计算操作，例如，基于整合的日志信息计算各个指标的值(例如，计算用户访问数、用户数等指标的值)。

优选地，为了提高数据处理的效率，数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果包括：数据处理服务器将接收到的日志信息进行存储；数据处理服务器判断存储的日志信息是否达到预设量；以及数据处理服务器在判断出存储的日志信息达到预设量时，按照预设规则对存储的日志信息进行汇总，得到汇总结果。

本申请实施例的数据处理服务器在接收到来自业务服务器的日志信息之后，对日志信息进行存储，并判断存储的日志信息是否达到预设量，例如，判断存储的日志信息是否达到预设数量或是判断存储的日志信息是否达到预设大小。在判断出存储的日志信息达到预设量之后将存储的所有的日志信息进行汇总计算，从而可以避免频繁的进行日志信息的汇总计算，影响数据处理的效率。

需要说明的是，本申请实施例的数据处理服务器也可以是在接收完一天内或是预设时间段内的日志信息后，再按照业务需求进行日志信息的汇总计算。

步骤S106，数据处理服务器将汇总结果返回给业务服务器。

本申请实施例的数据处理服务器在得到汇总结果之后，将汇总结果发送给业务服务器，业务服务器对汇总结果进行存储，以便后续分析。

本申请实施例通过数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器，通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总和计算，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，进而达到了降低日志信息处理对业务服务器的性能的影响的效果。

优选地，为了进一步降低日志信息处理对业务服务器资源的占用，数据处理服务器将汇总结果返回给业务服务器包括：检测业务服务器是否处于空闲状态；以及在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

具体地，本申请实施例可以通过数据处理服务器检测业务服务器是否处于空闲状态，并在检测出业务服务器处于空闲状态时汇总结果返回给业务服务器；也可以是通过业务服务器自身在空闲状态时向数据处理服务器发送指示信号，数据处理服务器在接收到所述指示信号向业务服务器发送汇总结果。

本申请实施例通过在业务服务器空闲时向业务服务器发送日志信息的汇总结果，从而可以避免对业务服务器的资源的占用。

优选地，数据处理服务器将汇总结果返回给业务服务器包括：数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。

本申请实施例的预设时间规则为预设的用于返回汇总结果的时间，需要说明的是，本申请实施例的预设时间规则通常设置为业务服务器较为空闲的时间段，例如，每天的1:00至3：00，数据处理服务器将汇总结果返回给业务服务器。

图2是根据本申请第二实施例的日志处理方法的流程图，如图2所示，包括如下步骤：

步骤S202，日志处理程序将业务服务器的日志信息进行解析，将解析结果直接发送给数据处理服务器。

具体地，可以根据业务规模部署一台专门用于对数据进行汇总的数据处理服务器，其中，上述数据主要为日志信息。

步骤S204，数据处理服务器接收到解析结果，存入相应的数据库中。

数据处理服务器接收到来自业务服务器的日志信息的解析结果(即日志解析结果)，并将其存入数据处理服务器相应的数据库中。

步骤S206，当一天或一定时间的数据收集完毕，数据处理服务器按照业务需求进行汇总，得到汇总结果。

当一天或一定时间的数据(即日志信息)收集完毕，数据处理服务器按照业务需求对日志信息进行汇总，得到汇总结果，并将汇总结果存储于数据处理服务器的汇总结果表中。

步骤S208，在业务服务器空闲时段，数据处理服务器将其汇总结果传输给业务服务器，保存于业务服务器的汇总结果表中。

业务服务器空闲时段可以是深夜或是凌晨等时段。

需要说明的是，本申请实施例对日志信息进行汇总不仅包括对日志信息进行整合操作，还包括计算操作，例如，基于整合的日志信息计算各个指标的值(例如，计算用户访问数、用户数等指标的值)。

由上述描述可知，本申请实施例可以分布式地对数据(即日志信息)进行汇总，保证了数据处理的效率的同时，极大的减少了日志信息处理对业务服务器的性能的影响。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例的另一方面，提供了一种日志处理装置，该日志处理装置可以用于执行本申请实施例的日志处理方法，本申请实施例的日志处理方法也可以通过本申请实施例的日志处理装置来执行。

图3是根据本申请实施例的日志处理装置的示意图，如图3所示，该装置包括：接收单元10、汇总单元20和返回单元30。

接收单元10，用于使得数据处理服务器接收来自业务服务器的日志信息。

本申请实施例的数据处理服务可以是任意能够实现日志信息汇总分析的服务器，具体地，用户可以根据业务内容额外配置一台或是多台用于日志信息汇总和计算的服务器，该数据处理服务器能够与业务服务器进行数据通信，例如，接收业务服务器发送的数据以及向业务服务器发送数据等。

汇总单元20，用于使得数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果。

本申请实施例的预设规则为按照业务分析需求设置的规则，例如，可以是按照不同维度(例如，媒体维度、地域维度等)统计不同的指标的值(例如，用户访问数、用户数等指标)。具体地，如果当前需要分析不同地域的用户访问情况，此时数据处理服务器可以按照地域维度统计用户访问数，例如，分别统计北京、上海、广州等地区的用户访问数。

返回单元30，用于使得数据处理服务器将汇总结果返回给业务服务器。

本申请实施例通过接收单元10使得数据处理服务器接收来自业务服务器的日志信息；汇总单元20使得数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及返回单元30使得数据处理服务器将汇总结果返回给业务服务器，通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总和计算，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，进而达到了降低日志信息处理对业务服务器的性能的影响的效果。

优选地，返回单元30包括：检测模块，用于检测业务服务器是否处于空闲状态；以及第一返回模块，用于在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

优选地，返回单元30包括：第二返回模块，用于使得数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。

优选地，汇总单元20包括：存储模块，用于使得数据处理服务器将接收到的日志信息进行存储；判断模块，用于使得数据处理服务器判断存储的日志信息是否达到预设量；以及汇总模块，用于使得数据处理服务器在判断出存储的日志信息达到预设量时，按照预设规则对存储的日志信息进行汇总，得到汇总结果。

根据本申请实施例的又一方面，提供了一种日志处理系统。图4是根据本申请实施例的日志处理系统的示意图，如图4所示，该系统包括：业务服务器1和数据处理服务器2。

业务服务器1，用于将获取到的日志信息发送给数据处理服务器2。

数据处理服务器2，用于接收来自业务服务器1的日志信息，按照预设规则对日志信息进行汇总，得到汇总结果，并将汇总结果返回给业务服务器1。

本申请实施例通过业务服务器1将获取到的日志信息发送给数据处理服务器2，数据处理服务器2接收来自业务服务器1的日志信息，按照预设规则对日志信息进行汇总，得到汇总结果，并将汇总结果返回给业务服务器1，本申请实施例通过数据处理服务器2对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总和计算，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，进而达到了降低日志信息处理对业务服务器的性能的影响的效果。

优选地，数据处理服务器2还用于检测业务服务器1是否处于空闲状态，其中，在检测出业务服务器1处于空闲状态时，将汇总结果返回给业务服务器。

优选地，数据处理服务器2按照预设时间规则将汇总结果返回给业务服务器1。

优选地，数据处理服务器2还用于将接收到的日志信息进行存储，并判断存储的日志信息是否达到预设量，其中，数据处理服务器2在判断出存储的日志信息达到预设量时，按照预设规则对存储的日志信息进行汇总，得到汇总结果。

所述日志处理装置包括处理器和存储器，上述接收单元、汇总单元和返回单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来分布式地对日志信息进行汇总计算。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种日志处理方法，其特征在于，包括：

数据处理服务器接收来自业务服务器的日志信息；

所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果；以及

所述数据处理服务器将所述汇总结果返回给所述业务服务器。

2.根据权利要求1所述的方法，其特征在于，所述数据处理服务器将所述汇总结果返回给所述业务服务器包括：

检测所述业务服务器是否处于空闲状态；以及

在检测出所述业务服务器处于空闲状态时，将所述汇总结果返回给所述业务服务器。

3.根据权利要求1所述的方法，其特征在于，所述数据处理服务器将所述汇总结果返回给所述业务服务器包括：所述数据处理服务器按照预设时间规则将所述汇总结果返回给所述业务服务器。

4.根据权利要求1所述的方法，其特征在于，所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果包括：

所述数据处理服务器将接收到的所述日志信息进行存储；

所述数据处理服务器判断存储的日志信息是否达到预设量；以及

所述数据处理服务器在判断出所述存储的日志信息达到所述预设量时，按照所述预设规则对所述存储的日志信息进行汇总，得到汇总结果。

5.根据权利要求1所述的方法，其特征在于，在数据处理服务器接收来自业务服务器的日志信息之前，所述方法还包括：

批量获取所述日志信息；

对所述日志信息进行解析，得到日志解析结果；以及

将所述日志解析结果发送至所述数据处理服务器。

6.一种日志处理装置，其特征在于，包括：

接收单元，用于使得数据处理服务器接收来自业务服务器的日志信息；

汇总单元，用于使得所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果；以及

返回单元，用于使得所述数据处理服务器将所述汇总结果返回给所述业务服务器。

7.根据权利要求6所述的装置，其特征在于，所述返回单元包括：

检测模块，用于检测所述业务服务器是否处于空闲状态；以及

第一返回模块，用于在检测出所述业务服务器处于空闲状态时，将所述汇总结果返回给所述业务服务器。

8.根据权利要求6所述的装置，其特征在于，所述返回单元包括：第二返回模块，用于使得所述数据处理服务器按照预设时间规则将所述汇总结果返回给所述业务服务器。

9.一种日志处理系统，其特征在于，包括：

业务服务器，用于将获取到的日志信息发送给数据处理服务器；以及

数据处理服务器，用于接收来自所述业务服务器的日志信息，按照预设规则对所述日志信息进行汇总，得到汇总结果，并将所述汇总结果返回给所述业务服务器。

10.根据权利要求9所述的系统，其特征在于，所述数据处理服务器还用于检测所述业务服务器是否处于空闲状态，其中，在检测出所述业务服务器处于空闲状态时，将所述汇总结果返回给所述业务服务器。