CN111404726A - 一种日志处理方法、装置及系统 - Google Patents

Abstract

本发明提供了一种日志处理方法、装置及系统，其中，该方法包括：主动拉取待处理的目标日志文件，并指示将目标日志文件标为被拉取状态；对目标日志文件进行处理，确定处理后的日志处理结果；将日志处理结果存储至本地，和/或将日志处理结果发送至相应的日志存储服务器。通过本发明实施例提供的日志处理方法、装置及系统，可以采用批量处理文件的方式对日志数据进行处理，能充分利用本地处理设备的设备性能，对于处理大文件型数据时性能有提升；本地处理设备可以基于自身的性能拉取适量的日志文件，不要求各个处理设备的配置或性能相似，提高了系统整体性能，不需要额外设置数据队列等节点，能够节约资源。

Description

一种日志处理方法、装置及系统

技术领域

本发明涉及日志处理技术领域，具体而言，涉及一种日志处理方法、装置及系统。

背景技术

CDN(Content Delivery Network，内容分发网络)是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率

目前，CDN在服务过程中会产生大量的访问日志，这些访问日志中记录了访问的时间、大小、请求内容等信息，这些信息需要按照一定的日志格式和时间顺序整理后打包，提供给客户下载查询。目前的方案都是在CDN的服务器上部署日志采集程序，通过采集程序把日志内容投递到日志中心的数据队列上，日志处理程序再处理数据队列里面的数据，处理后的数据导出到数据存储集群中。

现有的技术都是针对数据流来处理，针对文件处理的并发性能差(在同等设备数量的情况下)，而且要求设备的配置和性能要相似才能保证性能。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种日志处理方法、装置及系统。

第一方面，本发明实施例提供了一种日志处理方法，包括：

主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；

对所述目标日志文件进行处理，确定处理后的日志处理结果；

将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。

第二方面，本发明实施例还提供了一种日志处理装置，包括：

拉取模块，用于主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；

处理模块，用于对所述目标日志文件进行处理，确定处理后的日志处理结果；

存储模块，用于将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。

第三方面，本发明实施例还提供了一种日志处理系统，包括：日志处理服务器和日志存储服务器，所述日志处理服务器的数量为一个或多个，所述日志存储服务器的数量为一个或多个；

所述日志处理服务器用于执行上述的日志处理方法，并在需要时将日志处理结果发送至相应的所述日志存储服务器；

所述日志存储服务器用于对来自一个或多个所述日志处理服务器的日志处理结果进行合并处理。

本发明实施例上述第一方面提供的方案中，与传统被动获取数据流的流式处理方案相比，通过主动拉取的方式获取需要处理的文件形式的日志文件，从而可以采用批量处理文件的方式对日志数据进行处理，能充分利用本地处理设备的设备性能，对于处理大文件型数据时性能有提升；同时，采用主动拉取的方式，使得本地处理设备可以基于自身的性能拉取适量的日志文件，不要求各个处理设备的配置或性能相似，提高了系统整体性能，且相对于传统的日志处理方法，不需要额外设置数据队列等节点，能够节约资源。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种日志处理系统的结构示意图；

图2示出了本发明实施例所提供的一种日志处理方法的流程图；

图3示出了本发明实施例所提供的一种日志处理装置的结构示意图；

图4示出了本发明实施例所提供的用于执行日志处理方法的电子设备的一种结构示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供了一种日志处理系统，采用处理+存储的两级结构，实现对日志文件的处理，不针对日志的数据流进行处理，优化了日志处理流程。参见图1所示，该日志处理系统包括：日志处理服务器10和日志存储服务器20，其中，日志处理服务器10的数量为一个或多个，日志存储服务器20的数量为一个或多个；图1中以该日志处理系统包含多个日志处理服务器10和多个日志存储服务器20为例示出。

其中，日志处理服务器10具体用于主动拉取待处理的目标日志文件，并指示将目标日志文件标为被拉取状态；之后日志处理服务器10对目标日志文件进行处理，确定处理后的日志处理结果；将日志处理结果存储至本地，和/或在需要时将日志处理结果发送至相应的日志存储服务器。日志存储服务器20用于对来自一个或多个日志处理服务器10的日志处理结果进行合并处理。

本发明实施例中，CDN在服务过程中会产生大量的日志数据(如访问日志等)，每条日志数据可以对应用户的一个访问行为，每条日志数据可以具有相应的参数，例如日志数据时间、日志数据对应的对象等；一条或多条日志数据可以形成日志文件，从而能够以文件的形式存储日志数据，该日志文件可以存储在相应的存储器中。其中，该日志文件也具有相应的属性参数，例如日志文件大小、日志文件时间、日志文件格式等。日志处理服务器10在需要对日志进行处理时，日志处理服务器10主要通过拉取步骤、处理步骤和存储步骤实现日志处理。其中，该拉取步骤包括：主动拉取代待处理的目标日志文件，并指示将目标日志文件标为被拉取状态。

本发明实施例中，日志处理服务器10可以从存有日志文件的存储器中选取一个或多个日志文件作为目标日志文件，进而主动从该存储器中拉取目标日志文件。其中，日志处理服务器10可以根据自己本地的性能参数来选取合适量的日志目标文件；或者，如图1所示，该日志处理系统还可以包括任务调度服务器30，由该任务调度服务器30分配目标日志文件。

具体的，当日志处理服务器10基于本地的性能参数拉取目标日志文件时，该拉取步骤包括如下的步骤A1-A2。

步骤A1：根据本地的性能参数确定本地的任务处理量。

步骤A2：根据日志文件的属性参数从日志文件集合中确定不超过所述任务处理量、且处于未拉取状态的目标日志文件，并主动拉取所述目标日志文件；所述属性参数包括日志文件大小、日志文件时间、日志文件格式中的一项或多项。

本发明实施例中，日志处理服务器10自身具有相应的性能参数，该性能参数具体可以为计算力等；日志处理服务器10基于性能参数可以确定本地能够处理的日志文件数量，即任务处理量；之后即可从日志文件集合中选取不超过该任务处理量的日志文件作为目标日志文件，并通过拉取的方式主动获取该目标日志文件。日志处理服务器10基于自身的性能参数来拉取不超过相应任务处理量的目标日志文件，使得自身可以更合适地处理适量的日志文件，不需要强制要求该日志处理服务器10的性能参数，即具有计算能力的设备均可以作为该日志处理系统的日志处理服务器10。

同时，为避免已经被拉取的目标日志文件再次被其他日志处理服务器10拉取处理，本实施例中，日志处理服务器10拉取到目标日志文件之后，即可指示本地或其他设备将该目标日志文件标为“被拉取状态”；例如，该目标处理服务器10可以自主将目标日志文件标为“被拉取状态”，并通知存储有该目标日志文件的设备(例如存有日志文件的存储器)，或者目标处理服务器10可以通知其他设备(例如任务调度服务器30，或者存有日志文件的存储器等)该目标日志文件已经被拉取，使得该其他设备可以将该目标日志文件标记为被拉取状态。相应的，在日志文件没有被拉取时，该日志文件处于“未拉取状态”，故目标处理服务器10只能拉取处于未拉取状态的日志文件，避免对日志文件重复处理。

此外，该日志处理服务器10在拉取日志文件时，还基于日志文件的属性参数进行拉取。如上所述，日志文件的属性参数包括日志文件大小、日志文件时间、日志文件格式等，日志处理服务器10可以拉取日志文件大小不大于本地的任务处理量的日志文件作为目标日志文件；或者，拉取日志文件时间连续的多个日志文件作为多个目标日志文件；或者，拉取具有统一日志文件格式的多个日志文件作为多个目标日志文件等。

本实施例中，当任务调度服务器30分配目标日志文件时，日志处理服务器10拉取目标日志文件的步骤包括步骤B1-B2：

步骤B1：任务调度服务器30确定日志处理服务器10的性能参数，根据性能参数为日志处理服务器10分配相应的目标日志文件，或者，根据性能参数从总日志文件池中确定相应的日志文件集合，指示日志处理服务器10从日志文件集合中拉取目标日志文件。

本发明实施中，任务调度服务器30是执行整体任务调度工作的服务器，以使得该日志处理系统可以更合理、更有效地工作，实现负载均衡等。该任务调度服务器30可以获取所有日志处理服务器10的性能参数，并基于该性能参数直接为日志处理服务器10分配相应量的日志文件作为目标日志文件；例如，某日志处理服务器A可以处理1G的日志文件，则任务调度服务器30可以向该日志处理服务器A分配不高于1G(例如1G、0.9G等)的日志文件。或者，所有的日志文件形成总日志文件池，任务调度服务器30可以为一个或多个日志处理服务器10分配一个日志文件集合，该日志文件集合为从总日志文件池中选出的一个或多个日志文件形成的集合，进而使得相应的日志处理服务器10可以从该日志文件集合中自主拉取目标日志文件。

步骤B2：日志处理服务器10拉取任务调度服务器30分配的目标日志文件，或者，从日志文件集合中拉取目标日志文件。

本发明实施例中，若任务调度服务器30为该日志处理服务器10直接分配了目标日志文件，则该日志处理服务器10可以直接拉取相应的目标日志文件；若任务调度服务器30为该日志处理服务器10分配了一个日志文件集合，则日志处理服务器10可以从日志文件集合中拉取相应的目标日志文件。本实施例中，该日志文件集合为任务调度服务器30分配形成的集合，上述步骤A2中的日志文件集合为日志处理服务器10自身确定的集合，两个日志文件集合本质上相同，均为包含一个或多个日志文件的集合，故步骤B2中从日志文件集合中拉取目标日志文件时，也可以根据日志文件的属性参数从日志文件集合中确定不超过所述任务处理量、且处于未拉取状态的目标日志文件。

日志处理服务器10在拉取到目标日志文件之后，即可继续执行处理步骤。本实施例中，该处理步骤包括：对目标日志文件进行处理，确定处理后的日志处理结果。

本发明实施例中，日志处理服务器10在拉取到目标日志文件之后，对该目标日志文件进行一个或多个处理过程，该处理过程可以包括分割过程、过滤过程、排序过程等。本实施例中，该分割过程包括：将目标日志文件分割为多片日志文件；该过滤过程包括：过滤掉目标日志文件中的无效日志数据，并保留有效日志数据；该排序过程包括：根据日志数据时间对目标日志文件中的日志数据进行排序。

具体的，由于日志文件中一般包含多条日志数据，即日志文件大小不一，若目标日志文件较大，此时该日志处理服务器10可以对该目标日志文件进行分割处理，将目标日志文件分为多片，并分别对分割后的每片文件进行后续处理(如过滤、排序等)，从而可以降低对处理性能的要求；当日志处理服务器10的性能参数较差时，优先执行该分割过程。同时，目标日志文件中包含多条日志数据，部分日志数据可能是本次处理过程不需要的数据，即无效日志数据，通过过滤过程可以过滤掉该无效日志数据，只保留目标日志文件中其他的日志数据，即有效日志数据，以提高日志处理的有效性，也可以避免后续保存无效的日志数据。此外，日志文件中的日志数据具有日志数据时间这一属性参数，该日志数据时间具体可以为生成该条日志数据的时间，本实施例中，日志处理服务器10可以基于该日志数据时间对目标日志文件中的日志数据进行排序操作，方便后续对日志数据进行统一处理。本实施例中，一个目标日志文件可以对应一个日志处理结果；同时，由于目标日志文件中的日志数据具有相应的属性参数，可以基于日志数据的属性参数对日志数据进行分组，每一组日志数据生成一个日志处理结果，即一个目标日志文件可以对应多个日志处理结果；或者，日志处理服务器10可以获取多个目标日志文件，若多个目标日志文件具有共性(例如都是同一用户的访问日志等)，此时日志处理服务器10生成的日志处理结果可以为基于多个目标日志文件所确定的日志处理结果，即多个目标日志文件对应一个日志处理结果。

本领域技术人员可以理解，日志处理服务器10可以执行分割过程、过滤过程、排序过程中的一个，也可以执行多个过程，具体可基于实际情况而定。同时，各个过程之间可以是有关联的；例如，日志处理服务器10可以先对目标日志文件进行分割处理，之后对每一片文件再执行过滤过程、排序过程；而排序过程可以针对一片文件，也可以针对总的目标日志文件，本实施例对此也不做限定。

本发明实施例中，日志处理服务器10在处理完毕后，可以执行如下的存储步骤，该存储步骤包括：将日志处理结果存储至本地，和/或将日志处理结果发送至相应的日志存储服务器。

具体的，日志处理服务器10可以为智能终端，如智能手机、平板电脑、个人计算机等，日志处理服务器10本身具有存储功能；日志处理服务器10在处理完毕目标日志文件之后，可以直接存储在本地。或者，如图1所示，该日志处理系统还包括用于存储日志处理结果的日志存储服务器20，若日志处理服务器10生成的日志处理结果需要存入日志存储服务器20中，则日志处理服务器10可以将日志处理结果发送至相应的日志存储服务器。本发明实施例中，可以为日志处理服务器10预先设置日志存储服务器20，当日志处理服务器10生成日志处理结果时，可以直接将该日志处理结果发送至预先设置的日志存储服务器20。或者，任务调度服务器30可以为该日志处理服务器10分配日志存储服务器20，如任务调度服务器30确定每个日志存储服务器20的存储状态，并选择合适的日志存储服务器20分配给相应的日志处理服务器10；日志处理服务器10生成日志处理结果之后，即可将该日志处理结果发送至任务调度服务器30所分配的日志存储服务器20，实现日志处理结果的上传、存储。

如图1所示，一个日志处理服务器10可以对应一个或多个日志存储服务器20，相应的，一个日志存储服务器20也可以对应一个或多个日志处理服务器10。日志存储服务器20在接收到一个或多个日志处理服务器10发送的日志处理结果之后，即可对该一个或多个日志处理结果进行合并处理，生成合并后的日志，并存储合并后的日志。可选的，日志存储服务器20对日志处理结果进行合并处理之后，还对合并处理结果进行压缩处理，即日志存储服务器20保存压缩后的日志，以降低日志对存储空间的占用。

本发明实施例提供的一种日志处理系统，与传统被动获取数据流的流式处理方案相比，日志处理服务器10通过主动拉取的方式获取需要处理的文件形式的日志文件(即目标日志文件)，从而可以采用批量处理文件的方式对日志数据进行处理，能充分利用日志处理服务器10的设备性能，对于处理大文件型数据性能有提升；同时，采用主动拉取的方式，使得日志处理服务器10可以基于自身的性能拉取适量的日志文件，不要求各个日志处理服务器10的配置或性能相似，提高了系统整体性能，且相对于传统的日志处理系统，不需要数据队列等节点，能够节约资源。

在上述实施例的基础上，由于日志处理服务器10采用主动拉取的方式获取目标日志文件，故该日志处理系统对日志处理服务器10的性能没有设置多大要求，且各个日志处理服务器10之间互相独立，故可以很方便地实现删除或新增日志处理服务器10；同样的，日志存储服务器20可以基于本地的存储能力执行相应的存储任务，该日志处理系统也可以方便地实现删除或新增日志存储服务器。具体的，该任务调度服务器30还用于执行以下步骤：

步骤C1：在获取到指向日志处理服务器10的第一离线请求时，删除日志处理服务器10，该第一离线请求为日志处理服务器10发送的离线请求，或者为任务调度服务器30生成的指向该日志处理服务器10的离线请求。

步骤C2：在获取到指向日志存储服务器20的第二离线请求时，删除日志存储服务器20，该第二离线请求为日志存储服务器20发送的离线请求，或者为任务调度服务器30生成的指向该日志存储服务器20的离线请求。

步骤C3：在接收到第一服务器发送的日志处理请求时，将第一服务器作为一个日志处理服务器10。

步骤C4：在接收到第二服务器发送的日志存储请求时，将第二服务器作为一个日志存储服务器20。

本发明实施例中，由于该日志处理系统对其中设备的性能没有过高要求，不需要处理设备或存储设备的配置或性能是相同或相近的，即组成该日志处理系统的日志处理服务器10可以是具有各种处理性能的处理设备，日志存储服务器20可以是具有各种存储性能的存储设备，即该日志处理系统可以采用具有不同处理性能或不同存储空间的设备，如图1所示，每个日志处理服务器10之间可以互不相同，每个日志存储服务器20之间也可以互不相同；同时，日志处理和日志存储的任务也可以分配至任意的设备上，故该日志处理系统可以实现设备的任意扩展，即可任意添加或减少日志处理服务器10和日志存储服务器20。

具体的，任务调度服务器30可以管理控制服务器(包括日志处理服务器10和日志存储服务器20)，记录每台服务器的性能信息(例如处理性能、存储空间等)，根据不同服务器的性能、存储空间等情况和Hash算法可以分配每台服务器的日志处理任务和存储情况。日志处理系统中的日志处理服务器10不再执行日志处理任务时，即需要删除该日志处理服务器10时，该日志处理服务器10可以主动向任务调度服务器30发送第一离线请求，使得任务调度服务器30可以从日志处理系统中删除该日志处理服务器10；或者，任务调度服务器30可以主动删除该日志处理服务器10，即任务调度服务器30主动生成指向该日志处理服务器10的第一离线请求，从而可以删除相应的日志处理服务器10。同样的，当需要删除日志存储服务器20时，日志存储服务器20可以主动发送第二离线请求，也可以由任务调度服务器30主动生成指向该日志存储服务器20的离线请求，本实施例对此不做赘述。

相应的，当系统外部的第一服务器需要加入该系统执行日志处理任务时，该第一服务器可以向任务调度服务器30发送日志处理请求，进而任务调度服务器30可以将该第一服务器加入到日志处理系统中，并将该第一服务器作为一个日志处理服务器10，使得其后续可以执行相应的日志处理任务；同时，任务调度服务器30可以记录该第一服务器的处理性能，方便为第一服务器分配日志文件或日志文件集合。同样的，当第二服务器需要执行日志存储任务时，也可以向任务调度服务器30发送相应的日志存储请求，进而使得任务调度服务器30可以把该第二服务器作为一个日志存储服务器20，并向其分配日志存储任务，从而实现添加日志处理服务器10和日志存储服务器20。

本发明实施例提供的一种日志处理系统，与传统被动获取数据流的流式处理方案相比，日志处理服务器10通过主动拉取的方式获取需要处理的文件形式的日志文件，从而可以采用批量处理文件的方式对日志数据进行处理，能充分利用日志处理服务器10的设备性能，对于处理大文件型数据性能有提升；同时，采用主动拉取的方式，使得日志处理服务器10可以基于自身的性能拉取适量的日志文件，不要求各个日志处理服务器10的配置或性能相似，提高了系统整体性能，且相对于传统的日志处理系统，不需要数据队列等节点，能够节约资源。此外，该日志处理系统可以动态增加或删除日志处理服务器10或日志存储服务器20，灵活性较高。

基于同样的发明构思，本发明实施例还提供了一种日志处理方法，该日志处理方法具体可由上述的日志处理服务器执行。参见图2所示，该日志处理方法包括：

步骤201：主动拉取待处理的目标日志文件，并指示将目标日志文件标为被拉取状态。

步骤202：对目标日志文件进行处理，确定处理后的日志处理结果。

步骤203：将日志处理结果存储至本地，和/或将日志处理结果发送至相应的日志存储服务器。

本发明实施例中，该日志处理方法为上述的日志处理服务器10进行日志处理时所采用的方法，其详细过程可参考上述的其他实施例，此处不做赘述。

本发明实施例提供的一种日志处理方法，与传统被动获取数据流的流式处理方案相比，通过主动拉取的方式获取需要处理的文件形式的日志文件(即目标日志文件)，从而可以采用批量处理文件的方式对日志数据进行处理，能充分利用本地处理设备(如上述的日志处理服务器)的设备性能，对于处理大文件型数据时性能有提升；同时，采用主动拉取的方式，使得本地处理设备可以基于自身的性能拉取适量的日志文件，不要求各个处理设备的配置或性能相似，提高了系统整体性能，且相对于传统的日志处理方法，不需要额外设置数据队列等节点，能够节约资源。

可选的，上述步骤201“主动拉取待处理的目标日志文件”包括：

步骤D1：根据本地的性能参数确定本地的任务处理量。

步骤D2：根据日志文件的属性参数从日志文件集合中确定不超过任务处理量、且处于未拉取状态的目标日志文件，并主动拉取目标日志文件；属性参数包括日志文件大小、日志文件时间、日志文件格式中的一项或多项。

本发明实施例中，在需要拉取目标日志文件时，可以基于本地的性能参数拉取适量的目标日志文件，避免本地处理的日志文件过多。其中，该过程与上述实施例中的步骤A1-A2相同，此处不做赘述。

可选的，步骤202“对目标日志文件进行处理”包括：对目标日志文件进行包括分割过程、过滤过程、排序过程中的一项或多项的处理。其中，分割过程包括：将目标日志文件分割为多片日志文件；过滤过程包括：过滤掉目标日志文件中的无效日志数据，并保留有效日志数据；排序过程包括：根据日志数据时间对目标日志文件中的日志数据进行排序。

此外，上述步骤203“将日志处理结果发送至相应的日志存储服务器”包括：将日志处理结果发送至预先设置的日志存储服务器；或者，将日志处理结果发送至任务调度服务器所分配的日志存储服务器。

本发明实施例中，在需要对目标日志文件进行处理时，可以进行分割、过滤、排序等处理过程，进而可以生成相应的日志处理结果；在需要存储日志处理结果时，可以将日志处理结果发送至预先设置的、或者任务调度服务器30分配的日志存储服务器20。其中，该处理过程和存储过程的具体细节也可参见上述实施例中的描述，此处不做详述。

本发明实施例还提供一种日志处理装置，参见图3所示，该装置包括：

拉取模块31，用于主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；

处理模块32，用于对所述目标日志文件进行处理，确定处理后的日志处理结果；

存储模块33，用于将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。

在上述实施例的基础上，所述拉取模块31主动拉取待处理的目标日志文件包括：

根据本地的性能参数确定本地的任务处理量；

根据日志文件的属性参数从日志文件集合中确定不超过所述任务处理量、且处于未拉取状态的目标日志文件，并主动拉取所述目标日志文件；所述属性参数包括日志文件大小、日志文件时间、日志文件格式中的一项或多项。

在上述实施例的基础上，所述处理模块32对所述目标日志文件进行处理包括：

对所述目标日志文件进行包括分割过程、过滤过程、排序过程中的一项或多项的处理；

所述分割过程包括：将所述目标日志文件分割为多片日志文件；

所述过滤过程包括：过滤掉所述目标日志文件中的无效日志数据，并保留有效日志数据；

所述排序过程包括：根据日志数据时间对所述目标日志文件中的日志数据进行排序。

在上述实施例的基础上，所述存储模块33将所述日志处理结果发送至相应的日志存储服务器包括：

将所述日志处理结果发送至预先设置的日志存储服务器；

或者，将所述日志处理结果发送至任务调度服务器所分配的日志存储服务器。

本发明实施例提供的一种日志处理装置，与传统被动获取数据流的流式处理方案相比，通过主动拉取的方式获取需要处理的文件形式的日志文件(即目标日志文件)，从而可以采用批量处理文件的方式对日志数据进行处理，能充分利用本地处理设备(如上述的日志处理服务器)的设备性能，对于处理大文件型数据时性能有提升；同时，采用主动拉取的方式，使得本地处理设备可以基于自身的性能拉取适量的日志文件，不要求各个处理设备的配置或性能相似，提高了系统整体性能，且相对于传统的日志处理方法，不需要额外设置数据队列等节点，能够节约资源。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，其包含用于执行上述的日志处理方法的程序，该计算机可执行指令可执行上述任意方法实施例中的方法。

其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。

图4示出了本发明的另一个实施例的一种电子设备的结构框图。所述电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。

该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的日志处理方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的实施方式，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种日志处理方法，其特征在于，包括：

主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；

对所述目标日志文件进行处理，确定处理后的日志处理结果；

将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。

2.根据权利要求1所述的方法，其特征在于，所述主动拉取待处理的目标日志文件包括：

根据本地的性能参数确定本地的任务处理量；

根据日志文件的属性参数从日志文件集合中确定不超过所述任务处理量、且处于未拉取状态的目标日志文件，并主动拉取所述目标日志文件；所述属性参数包括日志文件大小、日志文件时间、日志文件格式中的一项或多项。

3.根据权利要求1所述的方法，其特征在于，所述对所述目标日志文件进行处理包括：

对所述目标日志文件进行包括分割过程、过滤过程、排序过程中的一项或多项的处理；

所述分割过程包括：将所述目标日志文件分割为多片日志文件；

所述过滤过程包括：过滤掉所述目标日志文件中的无效日志数据，并保留有效日志数据；

所述排序过程包括：根据日志数据时间对所述目标日志文件中的日志数据进行排序。

4.根据权利要求1所述的方法，其特征在于，所述将所述日志处理结果发送至相应的日志存储服务器包括：

将所述日志处理结果发送至预先设置的日志存储服务器；

或者，将所述日志处理结果发送至任务调度服务器所分配的日志存储服务器。

5.一种日志处理装置，其特征在于，包括：

拉取模块，用于主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；

处理模块，用于对所述目标日志文件进行处理，确定处理后的日志处理结果；

存储模块，用于将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。

6.一种日志处理系统，包括：日志处理服务器和日志存储服务器，所述日志处理服务器的数量为一个或多个，所述日志存储服务器的数量为一个或多个；

所述日志处理服务器用于执行权利要求1-4中任意一项所述的日志处理方法，并在需要时将日志处理结果发送至相应的所述日志存储服务器；

所述日志存储服务器用于对来自一个或多个所述日志处理服务器的日志处理结果进行合并处理。

7.根据权利要求6所述的系统，其特征在于，还包括任务调度服务器，所述任务调度服务器与所述日志处理服务器相连；

所述任务调度服务器用于确定所述日志处理服务器的性能参数，根据所述性能参数为所述日志处理服务器分配相应的目标日志文件，或者，根据所述性能参数从总日志文件池中确定相应的日志文件集合，指示所述日志处理服务器从所述日志文件集合中拉取目标日志文件。

8.根据权利要求7所述的系统，其特征在于，所述任务调度服务器还与所述日志存储服务器相连；

所述任务调度服务器用于向所述日志处理服务器分配相应的日志存储服务器，指示所述日志处理服务器将相应的日志处理结果发送至所述日志存储服务器。

9.根据权利要求7或8所述的系统，其特征在于，所述任务调度服务器还用于：

在获取到指向所述日志处理服务器的第一离线请求时，删除所述日志处理服务器，所述第一离线请求为所述日志处理服务器发送的离线请求，或者为所述任务调度服务器生成的指向所述日志处理服务器的离线请求；

在获取到指向所述日志存储服务器的第二离线请求时，删除所述日志存储服务器，所述第二离线请求为所述日志存储服务器发送的离线请求，或者为所述任务调度服务器生成的指向所述日志存储服务器的离线请求；

在接收到第一服务器发送的日志处理请求时，将所述第一服务器作为一个日志处理服务器；

在接收到第二服务器发送的日志存储请求时，将所述第二服务器作为一个日志存储服务器。

10.根据权利要求6所述的系统，其特征在于，所述日志存储服务器对所述日志处理结果进行合并处理之后，还对合并处理结果进行压缩处理。

Images