CN111552674A - 日志处理方法及设备 - Google Patents

Abstract

本发明提供一种日志处理方法及设备，应用于日志处理系统，日志处理系统包括日志对接设备和日志服务设备，方法包括：日志对接设备接收日志接入方发送的目标日志文件，并获取目标日志文件对应的日志解析配置信息；日志对接设备根据日志解析配置信息，将目标日志文件解析成多个日志字段；当接收到对于目标日志文件的日志服务请求时，日志对接设备获取日志服务请求携带的日志服务配置信息；日志对接设备向日志服务设备提供日志服务配置信息和日志字段，以使日志服务设备实现目标日志文件的日志服务。本发明提供的方法，可以有效避免日志接入方额外的日志调整工作，简化了日志文件接入日志服务的流程，提高了日志接入的效率。

Description

日志处理方法及设备

技术领域

本发明涉计算机技术领域，特别涉及一种日志处理方法及设备。

背景技术

计算机、移动终端等设备，在运行过程中会产生大量的日志文件，比如系统日志、应用程序日志及安全日志等。通过分析日志文件，相关人员能够了解到设备的运行情况，如负荷、软硬件信息和安全性等，从而及时发现设备的异常情况，便于采取措施进行处理。

现有技术中，为了提高工作效率，通常将分散在多台设备上的日志文件汇总至日志管理设备上，进行集中管理。由于集中管理的日志文件较多、数据量较大，在日志管理设备上对日志文件进行查询，排序和统计等操作时，需要借助ElasticSearch(简称ES)和Hadoop等日志服务来实现。由于每种日志服务对日志文件的格式具有不同的要求，所以，应用日志服务对日志文件进行处理时，通常需要专门的服务对接人，按照日志服务要求的格式，进行日志解析配置。

由于每种日志服务对日志文件的格式要求不同，且要求比较严格。而人为输入又容易出错，会导致对日志格式表达的不够清楚、全面，继而导致日志解析失败，服务对接人不得不多次重新配置。如此，使得日志文件接入日志服务的流程繁琐，日志解析效率低下，人力成本较高。

发明内容

本发明实施例提供了一种日志处理方法及设备。所述技术方案如下：

第一方面，提供了一种日志处理方法，应用于日志处理系统，所述日志处理系统包括日志对接设备和日志服务设备，所述方法包括：

所述日志对接设备接收日志接入方发送的目标日志文件，并获取所述目标日志文件对应的日志解析配置信息；

所述日志对接设备根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段；

当接收到对于所述目标日志文件的日志服务请求时，所述日志对接设备获取所述日志服务请求携带的日志服务配置信息；

所述日志对接设备向所述日志服务设备提供所述日志服务配置信息和所述日志字段，以使所述日志服务设备实现所述目标日志文件的日志服务。

进一步地，所述日志对接设备根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段的步骤，具体包括：

所述日志对接设备根据所述日志解析配置信息，识别所述目标日志文件的日志格式；

所述日志对接设备基于所述日志格式和所述日志解析配置信息，将所述目标日志文件拆解成N条日志记录，N大于等于1；

所述日志对接设备依据所述日志记录切割成多个日志字段。

进一步地，所述日志解析配置信息包括字段切割配置信息；

所述日志对接设备依据所述日志记录切割成多个日志字段的步骤，具体包括：

所述日志对接设备判断所述字段切割配置信息是否包括嵌套切割命令；

若包括嵌套切割命令，所述日志对接设备保存执行过所述嵌套切割命令的上一级切割命令产生的日志字段，并基于所述上一级切割命令产生的日志字段执行下一级切割命令。

进一步地，所述日志对接设备根据所述日志解析配置信息，所述日志解析配置信息包含所述目标日志的字段描述信息；

将所述目标日志文件解析成多个日志字段的步骤之后，还包括：

所述日志对接设备将所述日志解析配置信息中的所述日志字段的描述信息存入字段特征库。

进一步地，所述日志对接设备获取所述目标日志文件对应的日志解析配置信息之前，还包括：

所述日志对接设备接收所述日志接入方发送的日志配置请求，返回与所述日志配置请求对应的字段切割配置界面；

所述日志对接设备通过所述字段切割配置界面接收用于切割所述目标日志文件的字段切割配置信息。

进一步地，所述日志对接设备通过所述字段切割配置界面接收用于切割所述目标日志文件的字段切割配置信息的步骤之后，还包括：

所述日志对接设备向所述日志接入方返回配置信息命名界面；

所述日志对接设备通过所述配置信息命名界面接收配置名称信息；

所述日志对接设备根据所述配置名称信息为所述日志解析配置信息命名，并基于所述配置名称信息存储所述日志解析配置信息。

进一步地，所述日志对接设备根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段的步骤之后，还包括：

所述日志对接设备向所述日志接入方返回日志字段命名界面；

所述日志对接设备通过所述日志字段命名界面接收字段命名配置信息；

所述日志对接设备根据所述字段命名配置信息为所述日志字段命名。

进一步地，所述字段命名配置信息包括字段选择信息和字段标识信息；

所述日志对接设备根据所述字段命名信息为所述日志字段命名，具体包括：

所述日志对接设备根据所述字段选择信息，从解析出的所有所述日志字段中选择目标日志字段；

所述日志对接设备根据所述字段标识信息为所述目标日志字段命名。

进一步地，所述方法还包括：

所述日志对接设备向所述日志接入方提供日志保存配置界面；

所述日志对接设备通过所述日志保存配置界面接收日志保存配置信息；

所述日志对接设备按照所述日志保存配置信息缓存所述目标日志文件。

进一步地，所述日志服务配置信息包括日志服务类型和日志服务需求；

所述日志对接设备根据所述日志服务配置信息和所述日志字段，以使所述日志服务设备实现所述目标日志文件的日志服务的步骤，具体包括：

所述日志对接设备基于所述日志字段，创建符合所述日志服务类型格式要求的服务数据库；

所述日志对接设备提供所述日志服务需求和所述服务数据库，以使所述日志服务设备实现对所述目标日志文件的日志服务。

第二方面，提供了一种日志对接设备，所述设备包括：包括接收模块、解析模块及对接模块，其中：

所述接收模块，用于接收日志接入方发送的目标日志文件，并获取所述目标日志文件对应的日志解析配置信息；

所述解析模块，用于根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段；

所述接收模块，还用于当接收到对于所述目标日志文件的日志服务请求时，获取所述日志服务请求携带的日志服务配置信息；

所述对接模块，用于向所述日志服务设备提供所述日志服务配置信息和所述日志字段，以使所述日志服务设备实现所述目标日志文件的日志服务。

第三方面，提供了一种日志处理系统，包括日志对接设备和日志服务设备，所述日志对接设备和日志服务设备用于实现上述日志处理方法。

本发明提供的的日志处理方法，在日志接入方和日志服务设备之间设置日志对接设备，日志对接设备接收日志接入方发送的目标日志文件和对应的日志解析配置信息，并根据日志解析配置信息将目标日志文件解析成多个日志字段，然后将解析好的日志字段和相应的日志服务配置信息提供给日志服务设备，以使日志服务设备基于解析好的日志字段，按照日志服务配置信息实现目标日志文件的日志服务。所以，该日志处理方法可以使得一份日志文件经解析之后，能够接入不同的日志服务设备，即日志文件经解析后具有通用性；从而可以避免了一份日志文件要应用多个日志服务时，需要定义多种的日志解析方式的情况，方便日志接入方的日志接入，提高了日志解析效率；且日志对接设备对日志文件进行日志解析时，可以提供给日志接入方更多的日志格式选择，可以有效避免日志接入方额外的日志调整工作，简化了日志文件接入日志服务的流程，提高了日志接入的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的日志处理方法流程示意图；

图2为本发明实施例提供的日志对接设备的模块化结构示意图；

图3为本发明实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供一种日志处理方法，主要应用于包括日志对接设备和日志服务设备的日志处理系统。其中，日志服务设备，用于为日志接入方提供对日志文件的搜索、排序、统计等日志服务。日志接入方可以是需要对日志文件进行管理的日志管理设备，在对日志文件进行管理时，需要将日志文件接入能够提供日志搜索、排序、统计等日志服务的日志服务设备。相应地，日志服务设备可以是数据搜索设备(如ElasticSearch服务器)、数据计算设备(如Hadoop服务器)等。而日志对接设备可以理解为介于日志接入方和日志服务设备之间的中间方，用于在日志接入方有日志接入服务需求时，对待接入的日志文件进行处理，将日志文件处理成待接入的日志服务所要求的格式，以使日志服务设备能高效、准确地实现日志文件的日志服务。

需要说明的是，上述日志对接设备和日志服务设备的功能均可以由单台的服务器实现，也可以由分布式部署的服务器集群实现，本实施例对此不做具体限定。

下面结合附图对该日志处理方法进行具体说明。

参见图1，为本发明实施例提供的一种日志处理方法的流程图，该方法包括以下步骤。

步骤101，日志对接设备接收日志接入方发送的目标日志文件，并获取目标日志文件对应的日志解析配置信息。

在实施中，当日志接入方具有日志服务接入需求时，日志接入方可以通过日志上传接口将相关的日志文件(如目标日志文件)发送给日志对接设备。日志对接设备接收到日志接入方发送的目标日志文件后，可以获取目标日志文件对应的日志解析配置信息。其中，获取目标日志文件对应的日志解析配置信息，可以是日志对接设备在接收到日志文件之前已经接收了日志解析配置信息；然后在接收到目标日志文件后，日志对接设备再获取已存储的日志解析配置信息。

可选的，日志对接设备可以通过可视化界面接收日志接入方发送的日志解析配置信息。而日志解析配置信息可以包括字段切割配置信息。则在日志对接设备获取目标日志文件对应的日志解析配置信息之前，还可以包括：日志对接设备接收日志接入方发送的日志配置请求，并返回与配置请求对应的字段切割配置界面；然后，日志对接设备通过字段切割配置界面接收用于切割目标日志文件的字段切割配置信息。

其中，日志解析配置信息可以理解为日志对接设备对目标日志文件进行日志解析所需的配置信息，具体可以以文件的形式存在；进行日志解析主要是从原始的日志文件中提取进行日志服务所需的一些日志字段。配置界面可以理解为能够与日志接入方进行交互的WEB页面或者App页面，即日志对接设备提供WEB页面或者App，日志接入方可以在WEB页面或者App的页面进行操作，写入进行日志解析所需的配置信息。

在实施中，通常情况下日志接入方可以主动向日志对接设备发送日志配置请求，以向日志对接设备提供解析日志文件时所需的日志解析配置信息。在本实施例中，为了使日志对接设备对日志文件处理的整个过程可视化，日志对接设备在接收到日志接入方发送的日志配置请求后，可以返回与日志配置请求对应的配置界面。而日志配置请求可以理解为日志解析配置请求，即关于如何从原始的日志文件中提取进行日志服务所需的日志字段的配置请求，所以日志对接设备具体可以返回字段切割配置界面。然后，日志接入方可以进行相应的字段切割信息的配置，即根据配置界面显示的内容和提示，输入相应的信息，例如字段切割方式，输入完成后可以点击确认(或者回车按钮)，以示配置完成或进入下一步配置。如此，日志对接设备便可通过字段切割配置界面接收日志接入方写入的字段切割配置信息。

可选的，日志对接设备可以对日志解析配置信息进行命名和存储。即日志对接设备通过字段切割配置界面接收用于切割目标日志文件的字段切割配置信息的步骤之后，还可以包括：日志对接设备向日志接入方返回配置信息命名界面；日志对接设备通过配置信息命名界面接收配置名称信息；日志对接设备根据配置名称信息为日志解析配置信息命名，并基于配置名称信息存储日志解析配置信息。

在实施中，日志对接设备在接收了用于日志解析的字段切割配置信息之后，可以对日志解析配置信息进行存储。为了唯一标识存储的日志解析配置信息，可以对日志解析配置信息进行命名。所以，日志对接设备在通过字段切割配置界面接收目标日志文件对应的字段切割配置信息之后，可以向日志接入方返回配置信息命名界面。然后，与上述进行字段切割信息配置同理，日志接入方可以通过配置信息命名界面进行配置名称信息的输入。日志对接设备可以通过配置信息命名界面接收配置名称信息。然后，日志对接设备可以根据配置名称信息为日志解析配置信息命名，并基于配置名称信息存储日志解析配置信息。具体地，可以通过分布式存储工具(如分布式键值数据库etcd)进行分布式存储。

可选的，日志对接设备可以为日志文件添加日志保存相关的信息。所以，该日志处理方法还可以包括：日志对接设备向日志接入方提供日志保存配置界面；日志对接设备通过日志保存配置界面接收日志保存配置信息；日志对接设备按照日志保存配置信息缓存目标日志文件。

在实施中，日志文件在日志对接设备上会占用一定的内存，当日志对接设备上的日志文件达到一定量时，则会影响日志对接设备的运行和处理性能，所以可以对日志保存相关的信息(如日志保存时间和日志副本保存个数等)进行设置。日志对接设备为日志文件添加日志保存相关的信息，可以根据日志接入方配置的日志保存配置信息进行添加。与接收日志解析配置信息类似，日志对接设备可以向日志接入方提供日志保存配置界面。然后，日志接入方通过日志保存配置界面写入日志保存配置信息，日志对接设备接收日志保存配置信息之后，可以按照日志保存配置信息缓存目标日志文件。其中，日志文件在日志对接设备上的缓存可以通过消息系统(如具有高吞吐量的kafka消息系统)来实现。当日志对接设备接收目标日志文件之后，还可以通过消息系统产生消息队列，以对目标日志文件进行分类。需要说明的是，日志对接设备也可以在接收到目标日志文件之后或者接收到日志配置需求之后返回日志保存配置界面，即本实施例对日志对接设备接收日志保存配置信息的时间点不做具体限定。

步骤102，日志对接设备根据日志解析配置信息，将目标日志文件解析成多个日志字段。

在实施中，日志对接设备获取到待接入日志服务的目标日志文件和相应的日志解析配置信息之后，可以根据日志解析配置信息，对目标日志文件进行解析。为了使得一份日志文件经解析之后，可以接入不同的日志服务设备，即日志文件经解析后具有通用性，日志对接设备可以将目标日志文件解析成多个日志字段。该多个日志字段可以作为不同日志服务的公共的日志字段，然后日志对接设备可以根据需要接入的日志服务的格式要求，将该公共的日志字段另存为日志服务需要的格式。即当一份日志文件需要应用多个日志服务时，日志对接设备可以只进行一次解析，无需定义多种日志解析方式，从而便于日志接入方的日志接入，可以提高日志服务设备和日志接入方的工作效率。

可选的，解析日志文件时可以基于日志文件的格式进行解析。即日志对接设备根据日志解析配置信息，将目标日志文件解析成多个日志字段的步骤，具体可以包括：首先，日志对接设备根据日志解析配置信息，识别目标日志文件的日志格式；其次，日志对接设备基于日志格式和日志解析配置信息，将目标日志文件拆解成N条日志记录，N大于等于1；然后，日志对接设备依据该日志记录切割出多个日志字段。

在实施中，日志对接设备在接收了目标日志文件和相应的日志解析配置信息之后，可以先根据日志解析配置信息，识别目标日志文件的格式。然后基于具体的目标日志文件的格式和日志解析配置信息，选择该格式的目标日志文件支持的切割方式和编解码工具(如Log Codec)，将目标日志文件切割成N条日志记录，其中，N大于等于1。然后，日志对接设备可以选择进一步地切割方式和过滤工具(如Log Filter)，依据拆解出的每条日志记录再进行切割，切割出多个日志字段。其中，将日志文件拆解成日志消息的方式可以是按行切割、按列切割或者按多行切割等。将日志记录切割成日志字段的切割方式，可以是按空格二次切割、按逗号二次切割等。

可选的，由于日志字段切割可以是嵌套切割也可以是非嵌套切割，所以，所述日志解析配置信息可以包括字段切割配置信息。所述日志对接设备依据所述日志记录切割成多个日志字段的步骤，具体可以包括：所述日志对接设备先判断所述字段切割配置信息是否包括嵌套切割命令；该嵌套切割命令可以针对日志字段进行多次连续切割；若包括嵌套切割命令，所述日志对接设备保存执行过所述嵌套切割命令的上一级切割命令产生的日志字段，并基于所述上一级切割命令产生的日志字段执行下一级切割命令。

在实施中，由于日志字段切割的切割包括嵌套切割和非嵌套切割，所以在进行日志字段切割之前，可以先对日志解析配置信息进行解析，判断日志解析配置信息中的字段切割配置信息是否包括嵌套切割命令。若包括嵌套切割命令，所述日志对接设备保存执行过所述嵌套切割命令的上一级切割命令产生的日志字段，并基于所述上一级切割命令产生的日志字段执行下一级切割命令。即该日志处理方法支持对解析好的日志字段进行不限次的切割，可以提高日志字段的使用率和准确率。

可选的，日志对接设备可以将多个日志字段的描述信息进行存储。即日志解析配置信息还可以包含日志字段的描述信息。日志对接设备根据日志解析配置信息，将目标日志文件解析成多个日志字段的步骤之后，还可以包括：日志对接设备将日志字段的描述信息存入字段特征库。

在实施中，日志解析配置信息还可以包含日志字段的描述信息，该日志字段的描述信息可以包括日志字段的名称和对日志字段的描述和定义等。日志对接设备可以将解析出的多个日志字段的描述信息，存入字段特征库中。以便日志服务设备在实现日志服务的过程中，对日志字段的查找和调用。即日志服务设备可以通过日志对接设备提供日志字段的描述信息(如名称、定义、时间等)，查找相应的日志字段。并基于查找出的日志字段和该日志字段的描述信息，实现对日志文件的查找、排序及统计等日志服务。且当再次接入日志服务时，本次解析的日志字段仍然能够使用，并能够与之前或者之后解析出的日志字段自由组合，便于日志字段的查询。具体地，为了能够采用分布式部署的日志对接设备共同对日志文件进行处理，日志对接设备可以将字段特征库进行分布式存储。另外，可以根据日志接入方的日志文件设置字段特征库，通常是一个产品对应一个字段特征库。当该产品的字段特征库建立之后，以后再有该产品的日志字段产生，则也存入该字段特征库中，其中，一个产品可以是一项业务、一款应用程序等。

可选的，为了便于日志服务设备基于日志字段及日志字段的名称实现目标日志文件的日志服务。日志解析配置信息还可以包括字段命名配置信息。相应地，日志对接设备根据日志解析配置信息，将目标日志文件解析成多个日志字段的步骤之后，还可以包括：日志对接设备向日志接入方返回日志字段命名界面；然后，日志对接设备通过日志字段命名界面接收字段命名配置信息；日志对接设备再根据字段命名信息为日志字段命名。

在实施中，日志解析配置信息中还可以包括字段命名配置信息。日志对接设备在根据字段切割配置信息，将目标日志文件解析成多个日志字段之后，可以向日志接入方返回日志字段命名界面。具体地，日志字段命名界面可以直接显示解析好的日志字段，以便日志接入方对应切割出的日志字段输入相应的字段命名配置信息。然后，日志对接设备可以通过日志字段命名界面接收字段命名配置信息，并根据字段命名信息为切割好的日志字段进行命名，以使日志服务设备基于日志字段和日志字段的名称实现目标日志文件的日志服务。

可选的，日志接入方可以仅对需要的日志字段进行命名，故而，字段命名配置信息可以包括字段选择信息和字段标识信息。相应的，日志对接设备根据字段命名信息为日志字段命名，具体可以包括：日志对接设备根据字段选择信息，从解析出的所有日志字段中选择目标日志字段；然后，日志对接设备根据字段标识信息为目标日志字段命名。

在实施中，由于解析出的日志字段较多，如果全部进行命名的话，日志接入方需要对每个日志字段均输入字段命名配置信息，工作量较大。所以，为了降低工作量，日志接入方输入的字段命名配置信息，可以包括字段选择信息和字段标识信息。日志对接设备可以先根据字段选择信息，对切割出所有日志字段进行筛选，从所有日志字段中过滤掉与日志服务没有关系或者关系不是很密切的日志字段，选择实现日志服务所需的目标日志字段。然后，日志对接设备只需根据字段标识信息为目标日志字段命名，以使日志服务设备基于目标日志字段和目标日志字段的名称实现目标日志文件的日志服务。从而降低了日志接入方的配置工作量，也降低了日志对接设备的解析工作量，还节省了日志对接设备的存储空间。需要说明的是，为了进一步地使日志对接设备对日志文件的整个处理过程可视化，日志对接设备可以将切割出的日志字段，通过日志字段命名界面反馈至日志接入方。日志接入方可以直接通过日志字段命名界面选择目标日志字段，即字段选择信息可以是日志接入方进行字段选择选择的结果。日志接入方直接通过日志字段命名界面选择目标日志字段，不仅可以便于日志接入方了解日志实际解析的过程和结果，还有利于日志接入方在发现结果与预期不符时及时调整配置信息，以防日志服务设备基于解析出的日志字段进行日志服务时产生错误的服务结果。

需要说明的是，字段选择信息和字段标识信息，也可以是日志对接设备通过字段命名界面接收日志接入方写入的字段的选择规则和命名规则。然后，日志对接设备根据该选择规则和命名规则，自行筛选日志字段并为筛选的日志字段进行命名。

步骤103，当接收到对于目标日志文件的日志服务请求时，日志对接设备获取日志服务请求携带的日志服务配置信息.

在实施中，在向日志对接设备发送目标日志文件之后，如果需要实现目标日志文件的日志服务，日志接入方可以向日志接入设备发送对于目标日志文件的日志服务请求。进而，日志对接设备可以接收到对于目标日志文件的日志服务请求，并获取日志服务请求中携带的日志服务配置信息。值得一提的是，与上述目标日志文件和日志解析配置信息的上传原理类似，日志接入方可以通过日志对接设备提供的WEB页面或者APP写入对于目标日志文件的日志服务请求。

需要说明的是，步骤103与步骤102可以无固定的先后顺序，即日志对接设备可以在接收到日志服务配置信息之前，先根据日志服务解析信息将目标日志文件解析成多个日志字段；然后再根据日志服务配置信息调用解析好的日志字段。也可以是在接收到日志服务配置信息之后，依次对目标日志文件进行解析和调用。

步骤104，日志对接设备提供日志服务配置信息和日志字段，以使日志服务设备实现目标日志文件的日志服务。

在实施中，日志对接设备在将目标日志文件解析成日志字段之后，可以将解析好的日志字段和相应的日志服务配置信息，提供给日志服务设备，以使日志服务设备基于解析好的日志字段，按照日志服务配置信息实现目标日志文件的日志服务。其中，日志对接设备提供日志字段，可以是将解析好的日志字段，按照日志服务配置信息转化格式后，再提供给日志服务设备，以便日志服务设备调取相应的日志服务进程，基于该转化格式后的日志字段实现相应的日志服务。除此之外，日志对接设备提供日志字段，也可以是将解析好的日志字段，直接提供给日志服务设备，然后日志服务设备识别到是日志字段后，自行将日志字段按照日志服务配置信息进行格式转化。

可选的，针对不同的日志服务类型可以有相应的日志服务需求。所以，日志服务配置信息可以包括日志服务类型和日志服务需求。相应的，日志对接设备根据日志服务配置信息和日志字段，以使日志服务设备实现目标日志文件的日志服务的步骤，具体包括：日志对接设备基于日志字段，创建符合日志服务类型格式要求的服务数据库；日志对接设备提供日志服务需求和服务数据库，以使日志服务设备实现对目标日志文件的日志服务。

在实施中，由于日志服务类型多种多样，包括搜索、排序、统计等。即使相同的日志服务类型，日志接入方的日志服务需求也可以不尽相同。例如针对统计服务，日志接入方的日志服务需求可以是统计某个时间段内的安全日志信息；也可以是统计不同日期同一时刻，某应用的运行信息。所以，为了日志服务设备能够顺利实现对日志文件的日志服务，日志服务配置信息可以包括日志服务类型和日志服务需求。然后，日志对接设备基于日志字段，创建符合日志服务类型格式要求的服务数据库，并将日志服务需求和服务数据库提供给日志服务设备，以使其实现对目标日志文件的日志服务。例如，日志接入方欲将目标日志文件接入ElasticSearch搜索服务，日志对接设备则可以根据相应的日志服务配置信息，基于日志字段创建ES索引。然后日志服务设备调取相应的日志服务进程，基于该ES索引实现搜索、查询服务等。

本实施例提供的日志处理方法，在日志接入方和日志服务设备之间设置日志对接设备，日志对接设备接收日志接入方发送的目标日志文件和对应的日志解析配置信息，并根据日志解析配置信息将目标日志文件解析成多个日志字段，然后将解析好的日志字段和相应的日志服务配置信息提供给日志服务设备，以使日志服务设备基于解析好的日志字段，按照日志服务配置信息实现目标日志文件的日志服务。所以，该日志处理方法可以使得一份日志文件经解析之后，能够接入不同的日志服务设备，即日志文件经解析后具有通用性。从而可以避免了一份日志文件要应用多个日志服务时，需要定义多种的日志解析方式的情况，方便日志接入方的日志接入，提高了日志解析效率。且日志对接设备对日志文件进行日志解析时，可以提供给日志接入方更多的日志格式选择，可以有效避免日志接入方额外的日志调整工作，简化了日志文件接入日志服务的流程，提高了日志接入的效率。

为实现上述日志处理方法，本实施例还提供一种日志处理系统，该日志处理系统包括日志对接设备和日志服务设备，日志对接设备和日志服务设备用于实现上述日志处理方法。

如图2所示，为本实施例提供的日志对接设备的模块化结构示意图。该日志对接设备包括接收模块201、解析模块202及对接模块203。其中：接收模块201，用于接收日志接入方发送的目标日志文件，并获取目标日志文件对应的日志解析配置信息。解析模块202，用于根据日志解析配置信息，将目标日志文件解析成多个日志字段。接收模块201，还用于当接收到对于目标日志文件的日志服务请求时，获取日志服务请求携带的日志服务配置信息。对接模块203，用于向日志服务设备提供日志服务配置信息和日志字段，以使日志服务设备实现目标日志文件的日志服务。

可选的，解析模块202，还具体用于根据日志解析配置信息，识别目标日志文件的日志格式；基于日志格式和日志解析配置信息，将目标日志文件切割成多条日志记录；依据日志记录切割出多个日志字段。

可选的，解析模块202，还具体用于判断所述字段切割配置信息是否包括嵌套切割命令；若包括嵌套切割命令，所述日志对接设备保存执行过所述嵌套切割命令的上一级切割命令产生的日志字段，并基于所述上一级切割命令产生的日志字段执行下一级切割命令。

可选的，解析模块202，还具体用于将多个日志字段的描述信息存入字段特征库。

可选的，接收模块201，还具体用于接收日志接入方发送的日志配置请求，返回与日志配置请求对应的字段切割配置界面；然后，通过字段切割配置界面接收用于切割目标日志文件的字段切割配置信息。

可选的，接收模块201，还具体用于向日志接入方返回配置信息命名界面；然后，通过配置信息命名界面接收配置名称信息。解析模块202，还具体用于根据配置名称信息为日志解析配置信息命名，并基于配置名称信息存储日志解析配置信息。

可选的，接收模块201，还具体用于向日志接入方返回日志字段命名界面；然后，通过日志字段命名界面接收字段命名配置信息。解析模块202，还具体用于根据字段命名配置信息为日志字段命名。

可选的，解析模块202，还具体用于根据字段选择信息，从解析出的所有日志字段中选择目标日志字段；然后，根据字段标识信息为目标日志字段命名。

可选的，接收模块201，还具体用于向日志接入方提供日志保存配置界面；然后，通过日志保存配置界面接收日志保存配置信息。解析模块202，还具体用于按照日志保存配置信息缓存目标日志文件。

可选的，对接模块203，还具体用于基于日志字段，创建符合日志服务类型格式要求的服务数据库；然后，提供日志服务需求和服务数据库，以使日志服务设备实现对目标日志文件的日志服务。

需要说明的是：上述日志处理系统实施例，与上述日志处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图3是本发明实施例提供的服务器的结构示意图。该服务器300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对转码服务器中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在服务器300上执行存储介质330中的一系列指令操作。

服务器300还可以包括一个或一个以上电源329，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，一个或一个以上键盘354，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

服务器300可以包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行上述日志处理方法的指令。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种日志处理方法，应用于日志处理系统，其特征在于，所述日志处理系统包括日志对接设备和日志服务设备，所述方法包括：

所述日志对接设备接收日志接入方发送的目标日志文件，并获取所述目标日志文件对应的日志解析配置信息；

所述日志对接设备根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段；

当接收到对于所述目标日志文件的日志服务请求时，所述日志对接设备获取所述日志服务请求携带的日志服务配置信息；

所述日志对接设备向所述日志服务设备提供所述日志服务配置信息和所述日志字段，以使所述日志服务设备实现所述目标日志文件的日志服务。

2.如权利要求1所述的方法，其特征在于，所述日志对接设备根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段的步骤，具体包括：

所述日志对接设备根据所述日志解析配置信息，识别所述目标日志文件的日志格式；

所述日志对接设备基于所述日志格式和所述日志解析配置信息，将所述目标日志文件拆解成N条日志记录，N大于等于1；

所述日志对接设备依据所述日志记录切割出多个日志字段。

3.如权利要求2所述的方法，其特征在于，所述日志解析配置信息包括字段切割配置信息；

所述日志对接设备依据所述日志记录切割成多个日志字段的步骤，具体包括：

所述日志对接设备判断所述字段切割配置信息是否包括嵌套切割命令；

若包括嵌套切割命令，所述日志对接设备保存执行过所述嵌套切割命令的上一级切割命令产生的日志字段，并基于所述上一级切割命令产生的日志字段执行下一级切割命令。

4.如权利要求1所述的方法，其特征在于，所述日志解析配置信息包含所述日志字段的描述信息；

所述日志对接设备根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段的步骤之后，还包括：

所述日志对接设备将所述日志解析配置信息中的所述日志字段的描述信息存入字段特征库。

5.如权利要求1所述的方法，其特征在于，所述日志对接设备获取所述目标日志文件对应的日志解析配置信息之前，还包括：

所述日志对接设备接收所述日志接入方发送的日志配置请求，返回与所述日志配置请求对应的字段切割配置界面；

所述日志对接设备通过所述字段切割配置界面接收用于切割所述目标日志文件的字段切割配置信息。

6.如权利要求5所述的方法，其特征在于，所述日志对接设备通过所述字段切割配置界面接收用于切割所述目标日志文件的字段切割配置信息的步骤之后，还包括：

所述日志对接设备向所述日志接入方返回配置信息命名界面；

所述日志对接设备通过所述配置信息命名界面接收配置名称信息；

所述日志对接设备根据所述配置名称信息为所述日志解析配置信息命名，并基于所述配置名称信息存储所述日志解析配置信息。

7.如权利要求1所述的方法，其特征在于，所述日志对接设备根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段的步骤之后，还包括：

所述日志对接设备向所述日志接入方返回日志字段命名界面；

所述日志对接设备通过所述日志字段命名界面接收字段命名配置信息；

所述日志对接设备根据所述字段命名配置信息为所述日志字段命名。

8.如权利要求7所述的方法，其特征在于，所述字段命名配置信息包括字段选择信息和字段标识信息；

所述日志对接设备根据所述字段命名信息为所述日志字段命名，具体包括：

所述日志对接设备根据所述字段选择信息，从解析出的所有所述日志字段中选择目标日志字段；

所述日志对接设备根据所述字段标识信息为所述目标日志字段命名。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述日志对接设备向所述日志接入方提供日志保存配置界面；

所述日志对接设备通过所述日志保存配置界面接收日志保存配置信息；

所述日志对接设备按照所述日志保存配置信息缓存所述目标日志文件。

10.如权利要求1所述的方法，其特征在于，所述日志服务配置信息包括日志服务类型和日志服务需求；

所述日志对接设备根据所述日志服务配置信息和所述日志字段，以使所述日志服务设备实现所述目标日志文件的日志服务的步骤，具体包括：

所述日志对接设备基于所述日志字段，创建符合所述日志服务类型格式要求的服务数据库；

所述日志对接设备提供所述日志服务需求和所述服务数据库，以使所述日志服务设备实现对所述目标日志文件的日志服务。

11.一种日志对接设备，其特征在于，所述日志对接设备包括接收模块、解析模块及对接模块，其中：

所述接收模块，用于接收日志接入方发送的目标日志文件，并获取所述目标日志文件对应的日志解析配置信息；

所述解析模块，用于根据所述日志解析配置信息，将所述目标日志文件解析成多个日志字段；

所述接收模块，还用于当接收到对于所述目标日志文件的日志服务请求时，获取所述日志服务请求携带的日志服务配置信息；

所述对接模块，用于向所述日志服务设备提供所述日志服务配置信息和所述日志字段，以使所述日志服务设备实现所述目标日志文件的日志服务。

12.一种日志处理系统，其特征在于，包括日志对接设备和日志服务设备，所述日志对接设备和日志服务设备用于实现权利要求1-10任一项所述的日志处理方法。

Images