CN102737063B - 一种日志信息的处理方法及系统 - Google Patents

Abstract

本申请公开了一种日志信息的处理方法及系统，主要内容包括：利用采样模块、运算模块、分析模块组成的日志信息处理架构，通过对参考时间段和待处理时间段内产生的数以亿计的日志信息进行全方位、细粒度的采样，使采样结果能够有效地表征待处理时间段内产生的日志信息，再通过对采样的日志信息进行比较、分析，进而确定待处理时间段内产生的日志信息的有效性，由于采样的日志信息已经能够有效地表征待处理时间段内产生的日志信息，因此，对采样的日志信息的有效性分析也能够很好地表征在待处理时间段内产生的日志信息的有效性，提高了待处理时间内产生的日志信息有效性判定的准确度。

Description

一种日志信息的处理方法及系统

技术领域

本申请涉及计算机技术领域，尤其涉及一种日志信息的处理方法及系统。

背景技术

随着计算机网络技术的发展，越来越多的网络用户通过登录各类型的网站服务器得到相应的网络服务器，网站服务器经过一段时间(如24小时)的运行后，会生成大量的日志信息，如某些电子商务网站服务器每天生成的日志信息数以亿条，包含这些日志信息的数据文件的大小达到数百GB。

由于每隔一段时间(如24小时)，网络服务器就会产生大批量的日志信息，而这些日志信息可能是反映网络以及业务运行状态的有用日志信息，也可能是网络冗余信息产生的无用日志信息，如垃圾消息产生的日志信息，因此，需要对日志信息进行分析，查看一段时间内产生的日志信息是否有用日志信息。如果绝大部分日志信息是有用日志信息，则可以存储这些有用的日志信息，用于今后对网络以及业务运行状态进行分析；如果大部分日志信息是无用日志信息，则不需要存储无用日志信息，以免浪费存储资源。

为了方便日志信息的存储和数据分析，可以利用模型算法将网络服务器设定格式的日志信息转换为数值表示。具体的转换方式为：

首先，预先设定若干个关键词，同一关键词的内容可以不同。

例如：预设的关键词为卖家信誉、产品销量、产品类目等反映商品交易的关键词，也可以是其他与网站服务器的运营有关的关键字。以卖家信誉这一关键词为例，该关键词的内容可以是“高”、“较高”、“中”、“较低”和“低”这5种内容。

然后，为每个关键词建立对应的模型算法，针对同一关键词的不同内容，根据该关键词对应的模型算法，可以为各内容进行打分，得到不同内容的数值。

仍以卖家信誉这一关键词为例，若该关键词的内容分别为“高”和“中”，则将“高”和“中”分别通过卖家信誉对应的模型算法进行运算，为卖家信誉“高”和卖家信誉“中”这两种情况进行打分，若假定数值越高表示的卖家信誉越好，则卖家信誉“高”的打分数值高于卖家信誉“中”的打分数值，该打分数值即为该关键词的数值。

若一条日志信息中包含有多个关键词，则针对每个关键词都可以按照上述方式打分后得到该关键词的数值，进而将同一日志信息中的多个关键词的数值进行运算，如加权运算、相加、相乘或其他运算方式，最终得到日志信息转换后的数值。

在将日志信息转换为数值表示的形式后，需要对每次产生的大量的日志信息的有效性进行判定，具体的有效性判定方式包括但不限于以下两种方式：

第一种判定方式：

将第一时间段内产生的日志信息的数据条数和包含这些日志信息的数据文件的大小分别与第二时间段内产生的日志信息的数据条数和包含日志信息的数据文件的大小进行比较，若两个时间段内产生的数据条数和数据文件的大小比较接近，则认为第一时间段内的日志信息为有效，否则，认为第一时间段内的日志信息为无效。

在第一种判定方式下，通过对数据条数和数据文件大小的简单判定来确定日志信息的有效性，用于判定的数据的粒度太粗，判定结果准确性低。

第二种判定方式：

针对日志信息的某些特征来分析日志信息，例如，在日志信息是由电子商务网站服务器生成时，在第一时间段和第二时间段内生成的日志信息中都包含特征为促销商品的日志信息，可以将第一时间段内促销商品的日志信息和第二时间段内促销商品的日志信息进行分析，若两个时间段内促销商品的日志信息的数值大小接近，则认为第一时间段内的日志信息为有效，否则，认为第一时间段内的日志信息为无效。

在第二种判定方式下，针对不同类型的网络服务器产生的日志信息要分别采用不同的算法进行分析，没有统一有效的算法；且具有某些特征的日志信息也只是第一时间段内产生的大量日志信息中非常少的一部分，其判定结果同样可能存在的误差。并且需要分析日志信息中的特征信息，计算过程复杂。

综上所述，目前对海量的日志信息进行有效性判定时，还存在判定结果误差较大，难以准确地对一段时间内产生的日志信息进行有效性判定的问题。

发明内容

本申请实施例的目的在于：提供一种日志信息的处理方法及系统，用以解决现有技术中存在对海量的日志信息进行有效性判定时，判定结果的误差较大的问题。

一种日志信息的处理系统，包括分析服务器和至少一台运算服务器，其中：

采样模块，用于分别对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，得到参考时间段和待处理时间段的采样日志信息，所述参考时间段是待处理时间段之前的时间段；

运算模块，用于对得到的参考时间段的采样日志信息和待处理时间段的采样日志信息进行运算；

分析模块，用于根据运算结果判定待处理时间段内产生的日志信息的有效性。

一种日志信息的处理方法，包括：

分别对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，得到参考时间段和待处理时间段的采样日志信息，所述参考时间段是待处理时间段之前的时间段；

对得到的参考时间段的采样日志信息和待处理时间段的采样日志信息进行运算，并根据运算结果判定待处理时间段内产生的日志信息的有效性。

本申请有益效果如下：

本申请实施例利用采样模块、运算模块和分析模块组成的日志信息处理架构，通过至少一台采样模块对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，可以对数以亿计的日志信息进行全方位、细粒度的采样，使采样结果能够有效地表征待处理时间段内产生的日志信息，在采样后，通过运算模块和分析模块对采样的日志信息进行比较、分析，进而确定待处理时间段内产生的日志信息的有效性，由于采样的日志信息已经能够有效地表征待处理时间段内产生的日志信息，因此，运算模块和分析模块对采样的日志信息的有效性分析也能够很好地表征在待处理时间段内产生的日志信息的有效性，提高了待处理时间内产生的日志信息有效性判定的准确度。

附图说明

图1为本申请实施例一日志信息的处理系统的结构示意图；

图2为本申请实施例二日志信息的处理方法示意图；

图3为本申请实施例二参考时间段的采样日志信息和待处理时间段的采样日志信息的数值进行线性插值后的曲线示意图。

具体实施方式

由于有效的日志信息可以用于分析网络以及业务运行状态，而无效的日志信息会浪费存储资源，因此，针对海量的日志信息需要进行有效性判定，来判定日志信息是否是有效的日志信息，所以提高对海量日志信息的有效性判定的准确度就十分必要。本申请实施例提出一种日志信息的处理方案，利用采样模块、运算模块、分析模块组成的日志信息处理架构，通过至少一台采样模块对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，可以对数以亿计的日志信息进行全方位、细粒度的采样，使采样结果能够有效地表征待处理时间段内产生的日志信息，在采样后，通过运算模块和分析模块对采样的日志信息进行比较、分析，进而确定待处理时间段内产生的日志信息的有效性，由于采样的日志信息已经能够有效地表征待处理时间段内产生的日志信息，因此，对采样的日志信息的有效性分析也能够很好地表征在待处理时间段内产生的日志信息的有效性，提高了待处理时间内产生的日志信息有效性判定的准确度。

本申请各实施例中涉及的日志信息是指网络服务器在运行时记录的并转换为数值形式后的日志信息。

本申请各实施例中涉及的待处理时间段是指需要进行有效性判定的日志信息生成的时间段，参考时间段是指有效性判定结果为有效的日志信息生成的时间段，参考时间段是待处理时间段之前的时间段，较优地，为了使参考时间段能够更加准确地反应待处理时间段内的日志信息的有效性，参考时间段可以是待处理时间段之前相邻的时间段。为了使后续日志信息的比较过程能够正确执行，待处理时间段和参考时间段的时长相同，如待处理时间段和参考时间段的时长都为24小时。

本申请各实施例中涉及的采样模块是指具有日志信息采样、排序等处理能力的设备，包括但不限于云计算服务器。

本申请各实施例中涉及的运算模块是能够与采样模块直接或间接通信，对采样得到的日志信息进行运算的设备。

本申请各实施例中涉及的分析模块是能够与运算模块直接或间接通信，根据运算结果对日志信息的有效性进行判定的设备。

采样模块、运算模块、分析模块可以是集成在一起的设备，也可以是分别独立的设备，还可以是任意两个模块集成在一起的设备，如采样模块是独立的设备，运算模块和分析模块是集成在一起的设备。

在本发明实施例中的日志信息处理系统中，采样模块的数量可以是一台也可以是多台，运算模块和分析模块也可以是一台或多台。

下面结合说明书附图对本申请各实施例进行详细描述。

实施例一

如图1所示，为本申请实施例一中日志信息的处理系统的结构示意图，从图1中可以看出，系统包括采样模块11、运算模块12和分析模块13。

其中：所述采样模块11用于分别对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，得到参考时间段和待处理时间段的采样日志信息，所述参考时间段是待处理时间段之前的时间段；所述运算模块12用于对得到的参考时间段的采样日志信息和待处理时间段的采样日志信息进行运算；分析模块13用于根据运算结果判定待处理时间段内产生的日志信息的有效性。

所述系统还包括排序模块14，用于分别对参考时间段和待处理时间段内产生的日志信息按照日志信息的生成时间进行排序，或者，分别对参考时间段和待处理时间段内产生的日志信息按照日志信息数值的大小进行排序，并在排序完成后触发采样模块11对排序后的日志信息进行采样。

所述采样模块11和排序模块14可以是集成在一起的设备，如云计算服务器，本系统中可以包括多个采样模块11和排序模块14集成的设备，如云计算服务器组。

进一步地，所述系统还包括线性拟合模块15，用于在得到的参考时间段的采样日志信息的数量和待处理时间段的采样日志信息的数量不同时，按照线性拟合的方式补充数量少的时间段内的采样日志信息的数量，得到相同数量的参考时间段和待处理时间段的采样日志信息。

另外，所述运算模块12具体用于确定参考时间段的采样日志信息和待处理时间段的采样日志信息的差值；所述分析模块13具体用于在得到的差值小于阈值时，确定待处理时间段内产生的日志信息有效，否则，确定待处理时间段内产生的日志信息无效。

具体地，所述运算模块12用于通过以下公式确定参考时间段的采样日志信息和待处理时间段的采样日志信息的差值：

$\mathrm{\δ}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-w_i)}^2$

其中：δ表示参考时间段的采样日志信息和待处理时间段的采样日志信息的差值；n为正整数，表示待处理时间段的采样日志信息的数量；v_i表示待处理时间段中第i个采样日志信息的数值；w_i表示参考时间段中第i个采样日志信息的数值。

实施例二

如图2所示，为本申请实施例一中日志信息的处理方法示意图，本实施例二的处理方法可以使用实施例一中的处理系统来执行。

所述方法包括以下步骤：

步骤101：分别对参考时间段和待处理时间段内产生的日志信息进行排序。

在本步骤中，可以是一台排序模块执行排序操作，也可以是多台排序模块组并行对参考时间段和待处理时间段内产生的日志信息进行排序。

对待处理时间段内产生的日志信息进行排序时可以按照多种排序条件进行排序，包括但不限于以下两种排序方式：

第一种排序方式：

按照日志信息的生成时间进行排序，如排在前面的日志信息是先生成的日志信息，排在后面的日志信息是后生成的日志信息。

第二种排序方式：

按照日志信息数值的大小进行排序，如按照日志信息数值由大到小或由小到大的顺序排列。

可以同时对参考时间段和待处理时间段内产生的日志信息按照相同的排序方式进行排序，较优地，为减少运算量，若参考时间段内产生的日志信息在之前作为待处理时间段内产生的日志信息已进行过排序，且排序方式与本次待处理时间段内产生的日志信息的排序方式相同，则本步骤中可以直接确定已排序完成的参考时间段内产生的日志信息，不必再对参考时间段内的日志信息进行重复排序。

需要说明的是，本步骤是实现本申请目的的优选步骤，通过排序对日志信息进行梳理，可以进一步提高日志信息有效性判定的准确性。

步骤102：分别对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，得到参考时间段和待处理时间段的采样日志信息。

本步骤中可以根据日志信息有效性判定的需要，确定采样的采样比例。若有效性判定的准确性要求较高，则可以是使用较小的采样比例，如使用采样比例为50，即从待处理时间段内产生的日志信息中，每隔50个日志信息就进行一次采样。若有效性判定的准确性要求较低，则可以减少采样的数量，降低后续运算的运算量，使用较大的采样比例，如使用采样比例为500，即从待处理时间段内产生的日志信息中，每隔500个日志信息就进行一次采样。

例如，若使用的采样比例为100，参考时间段和待处理时间段产生的日志信息的数量为10000，则待处理时间段的采样日志信息的分布序列为：(100，0.674)、(200，0.736)、......、(9900，0.308)、(10000，0.315)。以(100，0.674)为例，来说明采样日志信息的表示方式，100表示该采样日志信息是待处理时间段内排序的第100个日志信息，0.674是第100个日志信息的数值，本实施例中，可以利用模型算法将日志信息转换为数值表示。

类似地，可以得到参考时间段的采样日志信息的分布序列。

特殊地，由于网络服务器在每天的实际运行过程差别较大，因此，在参考时间段内生成的日志信息的数量与在待处理时间段内生成的日志信息的数量可能不同，进而在本步骤中，参考时间段的采样日志信息的数量和待处理时间段的采样日志信息的数量也可能会不同。为了使参考时间段的采样日志信息与待处理时间段的采样日志信息能够正确进行比较、分析，在本步骤中对参考时间段和待处理时间段内产生的日志信息进行采样后，还进一步对数量较少的时间段内的采样日志信息进行补充，使得参考时间段的采样日志信息数量和待处理时间段的采样日志信息数量相同。

本实施例可以具体采用线性拟合的方式对数量较少的时间段内的采样日志信息进行补充。线性拟合方式是指：已知某函数的若干离散函数值{f1，f2，...，fn}，通过调整该函数中若干待定系数f(λ1，λ2，...，λm)，使得该函数与已知点集的差别(最小二乘意义)最小。如果待定函数是线性，就叫线性拟合或者线性回归。

如图3所示，为本步骤参考时间段的采样日志信息和待处理时间段的采样日志信息的数值进行线性插值后得到的曲线示意图。其中，实线为待处理时间段的采样日志信息的数值分布曲线，虚线为参考时间段的采样日志信息的数值分布曲线。假设参考时间段的采样日志信息的数量小于处理时间段的采样日志信息的数量，即参考时间段的采样日志信息没有第10000个采样值，则可以通过线性拟合方式估计出参考时间段的第10000个采样值，并补充至参考时间段的采样日志信息中，若估计出的参考时间段的第10000个采样值为(10000，0.498)，则可以得到如3所示的曲线示意图。

在得到图3所示的曲线示意图后，可以直观地看出参考时间段内生成的日志信息与待处理时间段内生成的日志信息的差别，进而可以较好地估计出待处理时间段内生成的日志信息的有效性。

步骤103：对得到的参考时间段的采样日志信息和待处理时间段的采样日志信息进行运算。

在本步骤中，具体是对参考时间段的采样日志信息和待处理时间段的采样日志信息的差值进行运算，运算所述差值的方式包括但不限于通过以下公式(1)的方式运算：

$\mathrm{\δ}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-w_i)}^2---\left(1\right)$

其中：δ表示参考时间段的采样日志信息和待处理时间段的采样日志信息的差值；n为正整数，表示待处理时间段的采样日志信息的数量；v_i表示待处理时间段中第i个采样日志信息的数值；w_i表示参考时间段中第i个采样日志信息的数值。

上述公式(1)是实现本步骤的一种可选方式，本实施例也不限于其他运算确定参考时间段的采样日志信息和待处理时间段的采样日志信息的差值的方式。如对上述公式(1)进行变形得到的公式(2)方式：

$\mathrm{\δ}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(v_i-w_i)---\left(2\right)$

步骤104：根据运算结果判定待处理时间段内产生的日志信息的有效性。

在本步骤中，以参考时间段的采样日志信息和待处理时间段的采样日志信息的差值为条件来判定待处理时间段内产生的日志信息的有效性，具体方式为：

将所述差值与预设的阈值进行比较，若所述差值小于阈值，则确定待处理时间段内产生的日志信息有效，否则，确定待处理时间段内产生的日志信息无效。

由于参考时间段的采样日志信息是有效的日志信息，且待处理时间段的采样日志信息与参考时间段的采样日志信息排序、采样方式相同，因此，当待处理时间段的采样日志信息与参考时间段的采样日志信息的差别较小(即所述差值小于设定的阈值)时，可以认为待处理时间段内生成的日志信息也是有效的日志信息。

在步骤102中可以根据图3所示的曲线示意图直观地估计出待处理时间段内生成的日志信息的有效性，在步骤104中通过客观的运算来确定待处理时间段内生成的日志信息的有效性，本申请实施例的方案不限于上述任意一种对待处理时间段内生成的日志信息的有效性确定方式。

通过本申请实施例二的方案，利用大量的采样、运算、分析模块协同运行，对数以亿计的海量日志信息进行排序、细粒度的采样后，对参考时间段和待处理时间段内的采样日志信息进行比较、分析来确定待处理时间段内生成的日志信息的有效性，由于本申请实施例的方案在采样时对待处理时间段内生成的日志信息进行了全面采样，采样结果能够表征待处理时间段内生成的日志信息，因此，可以提高日志信息的有效性判定的准确度；本申请实施例的方案可以广泛应用于各种日志信息的处理过程中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种日志信息的处理系统，其特征在于，包括：

采样模块，用于分别对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，得到参考时间段和待处理时间段的采样日志信息，所述参考时间段是待处理时间段之前的时间段，其中，所述采样比例根据日志信息有效性判定的需要确定；

运算模块，用于对得到的参考时间段的采样日志信息和待处理时间段的采样日志信息进行运算；

分析模块，用于根据运算结果判定待处理时间段内产生的日志信息的有效性。

2.如权利要求1所述的系统，其特征在于，还包括：

排序模块，用于分别对参考时间段和待处理时间段内产生的日志信息按照日志信息的生成时间进行排序，或者，分别对参考时间段和待处理时间段内产生的日志信息按照日志信息数值的大小进行排序，并在排序完成后触发采样模块对排序后的日志信息进行采样。

3.如权利要求1所述的系统，其特征在于，还包括：

线性拟合模块，用于在得到的参考时间段的采样日志信息的数量和待处理时间段的采样日志信息的数量不同时，按照线性拟合的方式补充数量少的时间段内的采样日志信息的数量，得到相同数量的参考时间段和待处理时间段的采样日志信息。

4.如权利要求3所述的系统，其特征在于，

所述运算模块，具体用于确定参考时间段的采样日志信息和待处理时间段的采样日志信息的差值；

所述分析模块，具体用于在所述差值小于阈值时，确定待处理时间段内产生的日志信息有效，否则，确定待处理时间段内产生的日志信息无效。

5.如权利要求4所述的系统，其特征在于，

所述运算模块，具体用于通过以下公式确定参考时间段的采样日志信息和待处理时间段的采样日志信息的差值：

$\mathrm{\δ}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-w_i)}^2$

其中：δ表示参考时间段的采样日志信息和待处理时间段的采样日志信息的差值；n为正整数，表示待处理时间段的采样日志信息的数量；v_i表示待处理时间段中第i个采样日志信息的数值；w_i表示参考时间段中第i个采样日志信息的数值。

6.一种日志信息的处理方法，其特征在于，包括：

分别对参考时间段和待处理时间段内产生的日志信息按照设定采样比例进行采样，得到参考时间段和待处理时间段的采样日志信息，所述参考时间段是待处理时间段之前的时间段，其中，所述采样比例根据日志信息有效性判定的需要确定；

对得到的参考时间段的采样日志信息和待处理时间段的采样日志信息进行运算，并根据运算结果判定待处理时间段内产生的日志信息的有效性。

7.如权利要求6所述的方法，其特征在于，对日志信息按照设定采样比例进行采样之前，所述方法还包括：

分别对参考时间段和待处理时间段内产生的日志信息按照日志信息的生成时间进行排序，或者，分别对参考时间段和待处理时间段内产生的日志信息按照日志信息数值的大小进行排序。

8.如权利要求6所述的方法，其特征在于，得到参考时间段和待处理时间段的采样日志信息，具体包括：

在得到的参考时间段的采样日志信息的数量和待处理时间段的采样日志信息的数量不同时，按照线性拟合的方式补充数量少的时间段内的采样日志信息的数量，得到相同数量的参考时间段和待处理时间段的采样日志信息。

9.如权利要求8所述的方法，其特征在于，对采样日志信息进行运算，并判定待处理时间段内产生的日志信息的有效性，具体包括：

确定参考时间段的采样日志信息和待处理时间段的采样日志信息的差值，并在得到的差值小于阈值时，确定待处理时间段内产生的日志信息有效，否则，确定待处理时间段内产生的日志信息无效。

10.如权利要求9所述的方法，其特征在于，通过以下公式确定参考时间段的采样日志信息和待处理时间段的采样日志信息的差值：

$\mathrm{\δ}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-w_i)}^2$

其中：δ表示参考时间段的采样日志信息和待处理时间段的采样日志信息的差值；n为正整数，表示待处理时间段的采样日志信息的数量；v_i表示待处理时间段中第i个采样日志信息的数值；w_i表示参考时间段中第i个采样日志信息的数值。