CN104881326B - 日志文件处理方法及装置 - Google Patents

Abstract

一种日志文件处理方法及装置，所述方法包括：建立各个节点服务器和处理线程之间的映射关系；将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。上述的方案可以节约处理线程的资源，提高日志文件的处理效率。

Description

日志文件处理方法及装置

技术领域

本发明属于日志处理领域，特别是涉及一种日志文件处理方法及装置。

背景技术

随着互联网技术的快速发展，手持设备、桌面终端等诸多互联网终端被大量使用，同时也产生了海量的信息。海量信息背后的“大数据”隐藏着人们自主行为意识，可以产生很多商业行为的潜在价值导向，因而这些海量数据的快速处理和分析技术的需求就日益紧迫。

现有技术中，CDN服务提供商是通过大量的节点(边缘)服务器来为客户提供加速服务的。其中，CDN网络中各个节点服务器产生的日志文件数量是巨大的。面对海量的日志文件信息，如何合理高效地对对海量日志文件快速分析、筛选、提炼，已成为亟待解决的问题。

现有技术中，CDN网络中的节点服务器产生的日志文件文件随机分发到各个处理线程进行处理，存在着浪费资源，日志文件处理效率低的问题。

发明内容

本发明实施例解决的问题是节约处理线程的资源，提高日志文件的处理效率。

为解决上述问题，本发明实施例提供了一种日志文件处理方法，所述方法包括：

建立各个节点服务器和处理线程之间的映射关系；

将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。

可选地，所述方法还包括：当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。

可选地，所述预设的条件包括：第一处理线程和第二处理线程的负载量差值大于预设的第一阈值，其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。

可选地，所述当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡，包括：

当第一处理线程和第二处理线程的负载量差值大于所述第一阈值时，分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；

按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；

当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；

当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。

可选地，所述建立所述节点服务器和处理线程之间的映射关系，包括：通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系。

可选地，在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，还包括：

当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；

将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。

本发明实施例还提供了一种日志文件处理装置，所述装置包括：

建立单元，适于建立各个节点服务器和处理线程之间的映射关系；

分发单元，适于将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。

可选地，所述装置还包括：负载均衡单元，适于当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。

可选地，所述预设的条件包括：第一处理线程和第二处理线程的负载量差值大于预设的第一阈值，其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。

可选地，所述负载均衡单元适于：当第一处理线程和第二处理线程的负载量差值大于所述第一阈值时，分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。

可选地，所述建立单元适于通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系。

可选地，所述建立单元还适于：在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。

与现有技术相比，本发明实施例的技术方案具有以下的优点：

通过将各个节点服务器产生的日志文件文件按照预设的映射关系分配至相应的处理线程进行处理，与将各个节点服务器产生的日志文件文件随机分配给相应的处理线程相比，可以避免将同一节点服务器产生的日志文件文件重复分发给不同的处理线程进行处理，因此，可以节约处理线程的处理资源，提高日志文件处理的效率。

进一步地，当第一处理线程和第二处理线程的负载量差值大于预设的第一阈值时，对节点服务器和处理线程之间的映射关系进行调整，直至第一处理线程和第二处理线程的负载量差值小于预设的第一阈值，当第一处理线程和第二处理线程的负载量差值小于预设的第一差值阈值时，各个处理线程之间达到负载均衡，可以快速及时地对各个节点服务器产生的日志文件进行处理，因此，可以进一步提升日志文件的处理效率。

进一步地，当所述有新节点服务器加入时，将所述新节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程，可以不受节点服务器个数的限制，因此，可以提高日志处理的灵活性。

附图说明

图1是本发明实施例中一种的日志文件处理方法的流程图；

图2是本发明实施例中另一种的日志文件处理方法的流程图；

图3是本发明实施例中的负载均衡的流程图；

图4是本发明实施例中的一种日志文件处理装置的结构示意图。

具体实施方式

现有技术中，CDN网络中的节点服务器产生的日志文件文件随机分发到各个处理线程进行处理，存在着浪费资源，日志文件处理效率低的问题。

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过将各个节点服务器产生的日志文件文件按照预设的映射关系分配至相应的处理线程进行处理，可以避免将同一节点服务器产生的日志文件文件重复分发给不同的处理线程进行处理，可以节约处理线程的处理资源，提高日志文件处理的效率。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例中的一种日志文件处理方法的流程图。如图1所示的日志文件处理方法，可以包括：

步骤S101：建立节点服务器和处理线程之间的映射关系。

在具体实施中，CDN网络中的各个节点服务器可以将其缓存的源站的资源文件按照就近原则提供给相应的用户。其中，节点服务器在运行过程中会产生相应的日志文件。对节点服务器产生的日志文件的分析，可以获取相应的商业信息。

在具体实施中，处理线程可以对节点服务器的日志文件进行分析处理，以获取有商业价值的信息。

在具体实施中，节点服务器与处理线程之间的映射关系，使得节点服务器可以按照预设的映射关系分发至相应的处理线程。在本发明一实施例中，采用循环映射的方法将各个节点服务器映射至各个处理线程，这种建立节点服务器和处理线程之间的映射关系的方法，简单实用。

例如，有10个节点服务器，分别为节点服务器S1-S10，及4个处理线程L1-L4，按照循环的方法将节点服务器S1-S10映射至处理线程L1-L4时，节点服务器S1、S5、S9映射至处理线程L1，节点服务器S2、S6、S10映射至处理线程L2，节点服务器S3映射至处理线程L3，节点服务器S4映射至处理线程L4。

步骤S102：将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。

在具体实施中，在建立节点服务器与处理线程之间的映射关系之后，各个节点服务器产生的日志文件便可以下发至相应的处理线程进行分析处理，与将节点服务器产生的日志文件随机下发至处理线程相比，可以避免将节点服务器产生的日志文件重复下发至不同的处理线程进行处理，避免处理线程的处理资源的浪费，提高日志文件的处理效率。

在具体实施中，为了本发明实施例中的日志文件处理方法还可以包括：

步骤S103：当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程。

在本发明一实施例中，为了便于将新加入的节点服务器映射至相应的处理线程，可以在采用循环映射的方式在将当前的节点服务器映射至处理线程结束时，记录最后一个节点服务器映射至的处理线程。

同样以上面将节点服务器S1-S10映射至处理线程L1-L4为例，当将节点服务器S1-S10映射至处理线程L1-L4结束时，可以将最后一个节点服务器S10映射至的处理线程，即处理线程L2。

步骤S104：将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。

在本发明一实施例中，当加入新的节点服务器时，通过获取最后一个节点服务器映射至的处理线程，便可以得知，新加入的节点服务器按照上述的循环映射的方式，应该映射至最后一个节点服务器对应的处理线程的下一处理线程。

例如，当有新加入的节点服务器S11-S15需要映射时，由于最后一个节点服务器-节点服务器S10映射至的处理线程为L2，那么，按照循环映射的方式，应该从处理线程L3再次开始进行循环映射，即：将节点服务器S11映射至处理线程L3，节点服务器S12映射至处理线程L4，节点服务器S13映射至处理线程L1，节点服务器S14映射至处理线程L2，节点服务器S15映射至处理线程L3。

在具体实施中，本发明实施例中的日志文件处理方法还可以根据处理线程的负载，对节点服务器和处理线程之间的映射关系进行实时的调整，以使得处理线程之间实现负载均衡，具体请参见图2和图3。

图2是本发明实施例中的另一种日志文件处理方法的流程图。如图2所示的日志文件处理方法，可以包括：

步骤S201：建立所述节点服务器和处理线程之间的映射关系。

步骤S202：将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。

步骤S201～步骤S202的详细介绍请参见图1中的详细介绍，在此不再赘述。

步骤S203：当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。

在具体实施中，为了提高处理线程运行的可靠性和稳定性，可以根据各个处理线程的负载对节点服务器和处理线程之间的映射关系进行动态的调整，以实现处理线程之间的负载均衡，具体请参见图3，可以包括以下步骤：

步骤S301：获取预设时间段内第一处理线程和第二处理线程的负载量。

在具体实施中，为了对节点服务器和处理线程之间的映射关系进行动态调整，实现各个处理线程之间的负载均衡，可以获取预设时间段内负载量最大的处理线程和负载量最小的处理线程。其中，为了描述的简便，分别将所述预设时间段内负载量最大的处理线程和负载量最小的处理线程分别称为第一处理线程和第二处理线程。

步骤S302：判断第一处理线程和第二处理线程的负载量差值是否大于所述第一阈值。

在本发明一实施例中，将第一处理线程和第二处理线程之间的负载量差值与预设的第一阈值进行比较，并通过比较结果来确定处理线程之间是否处于负载均衡状态，即当第一处理线程和第二处理线程之间的负载量差值小于预设的第一阈值，则视为处理线程之间实现了负载均衡。

在具体实施中，当判断结果为是时，可以执行步骤S303，否则，则不执行任何的操作。

步骤S303：分别获取第一处理线程对应的节点服务器和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量。

在本发明一实施例中，当确定第一处理线程和第二处理线程的负载量差值大于第一阈值时，表示处理线程之间已经不再处于负载均衡的状态，此时，需要对节点服务器和处理线程之间的映射关系进行调整，以使得各个处理线程之间再次达到负载均衡。

为了对节点服务器和处理线程之间的映射关系进行调整，可以首先获取第一处理线程对应的节点服务器和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量，以对第一处理线程和第二先生对应的节点服务器的日志文件变化情况进行预估。

步骤S304：按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较。

在具体实施中，当获取到第一处理线程对应的各个节点服务器在预设时间段内的日志文件增量时，可以按照日志文件增量从大到小的顺序将第一处理线程对应的节点服务器进行排序，并按照日志文件增量从大到小的顺序将第一处理线程对应的各个节点服务器依次重新映射至第二处理线程，以使得第一处理线程和第二处理线程之间的负载量差值小于第一阈值，即重新实现负载均衡。

步骤S305：当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。

在具体实施中，当按照日志文件增量从大到小的顺序将第一处理线程对应的各个节点服务器依次重新映射至第二处理线程时，每一次将第一处理线程对应的节点服务器映射至第二处理线程时，均判断第一处理线程与所述第二处理线程的负载量差值是否小于所述第一阈值，即：

(ThreadLoadMax-CurMaxNodeLoad)-(ThreadLoadMin+CurMaxNodeLoad)＜threshhold (1)

其中，ThreadLoadMax表示第一处理线程，ThreadLoadMin表示第二处理线程，CurMaxNodeLoad表示被搬迁至第二处理线程的当前位序的节点服务器，threshhold表示第一阈值。

当满足上式(1)时，则说明各个处理线程之间重新达到负载均衡，此时可以停止将第一线程对应的节点服务器重新映射至第二处理线程。

反之，当仍然出现：

(ThreadLoadMax-CurMaxNodeLoad)-(ThreadLoadMin+CurMaxNodeLoad)＞threshhold (2)

则继续将下一位序的节点服务器重新映射至第二处理线程，直至满足式(1)。

步骤S306：当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。

在具体实施中，当按照日志文件增量从大到小的顺序将第一处理线程对应的各个节点服务器依次重新映射至第二处理线程时，当将第一处理线程对应的当前位序的节点服务器映射至第二线程时，可能会出现下述的情况，即：

(ThreadLoadMin+CurMaxNodeLoad)-(ThreadLoadMax-CurMaxNodeLoad)＞threshhold (3)

也即，出现了当将当前位序的节点服务器重新映射至第二处理线程时，重新映射后第二处理线程的负载量与第一处理线程的负载量之间的负载量差值大于第一阈值，出现了情况反转，则此时舍弃将当前位序的节点服务器重新映射至第二处理线程，将下一位序的节点服务器重新映射至第二处理线程，若仍然出现式(3)所示的情形，则舍弃下一位序的节点服务器，而将再下一位序的节点服务器重新映射至第二处理线程，直至满足式(1)。

图4示出了本发明实施例中的一种日志文件处理装置的结构示意图。如图4所示的日志文件处理装置400，可以包括：

建立单元401，适于建立所述节点服务器和处理线程之间的映射关系。在本发明一实施例中，所述建立单元适于通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系。

在具体实施中，所述建立单元401还适于在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。

分发单元402，适于将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。

在具体实施中，如图4所示的日志文件处理装置400还可以包括负载均衡单元403，其中：

负载均衡单元403，适于当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。

在本发明一实施例中，所述负载均衡单元403适于当第一处理线程和第二处理线程的负载量差值大于所述第一阈值时，分别获取第一处理线程和第二处理线程在所述预设时间段内的日志文件增量；按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (6)

1.一种日志文件处理方法，其特征在于，包括：

建立各个节点服务器和处理线程之间的映射关系；

将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理；

当第一处理线程和第二处理线程的负载量差值大于预设的第一阈值时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡，包括：分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并重新将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；

其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。

2.根据权利要求1所述的日志文件处理方法，其特征在于，所述建立所述节点服务器和处理线程之间的映射关系，包括：通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系。

3.根据权利要求2所述的日志文件处理方法，其特征在于，在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，还包括：

当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；

将新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。

4.一种日志文件处理装置，其特征在于，包括：

建立单元，适于建立各个节点服务器和处理线程之间的映射关系；

分发单元，适于将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理；

负载均衡单元，适于当第一处理线程和第二处理线程的负载量差值大于预设的第一阈值时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡，包括：分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并重新将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。

5.根据权利要求4所述的日志文件处理装置，其特征在于，所述建立单元适于通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系。

6.根据权利要求5所述的日志文件处理装置，其特征在于，所述建立单元还适于：在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；将新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。