CN104281672A - 日志数据的处理方法和装置 - Google Patents

Abstract

本发明公开了一种日志数据的处理方法和装置。其中，该方法包括：将读取到的网络设备的日志信息按照预设格式写入日志文件中；建立日志信息的时间与日志信息的位置的映射关系，得到时间索引文件；从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件；在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志，其中，时间索引文件和镜像文件保存在数据库中。通过本发明，解决了现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，实现了快速高效地存储日志信息，并可以快速查询日志信息的效果。

Description

日志数据的处理方法和装置

技术领域

本发明涉及数据存储领域，具体而言，涉及一种日志数据的处理方法和装置。

背景技术

随着计算机、智能终端的普及，网络得到飞速发展，导致网络环境变的越来越复杂。当今的企业和组织在IT信息安全领域所面临的局面也越来越严峻。网络中的各种网络设备、安全设备、主机、应用和业务系统在工作中也将会产生越来越多的安全事件和日志。如何存储这些海量事件，为进一步的分析、挖掘提供准确的数据，就显的越来越重要。

在传统的日志审计系统中，采用了关系型数据库来存储所有的日志信息。但是关系数据库存在一定的弊端，海量的日志信息不仅会大大增加数据库的负担，导致了数据库的其他请求操作耗费大量时间，并且当日志信息的数据量很大时，数据库无法满足日志的全部存储，从而导致丢包，数据不完整，对海量数据的不能做到高效存储。关系型数据库作为一个通用型数据库，因为考虑到数据的更改、多线程和事务等功能做了均衡优化，导致对于海量日志信息的存储存在瓶颈。而对于用户的日志信息来说，它具有一次写入，多次读取，无需更改的特点，关系型数据库中的很多功能和优化它不需要，同时使用关系型数据库存储海量的日志信息时，不但存储效率低，查询效率也很低。

针对现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种日志数据的处理方法和装置，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种日志数据的处理方法，该方法包括：将读取到的网络设备的日志信息按照预设格式写入日志文件中；建立日志信息的时间与日志信息的位置的映射关系，得到时间索引文件；从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件；在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志，其中，时间索引文件和镜像文件保存在数据库中。

进一步地，将读取到的网络设备的日志信息按照预设格式写入日志文件中包括：从网络设备实时读取日志信息；获取日志信息的IP地址和为日志信息分配的日志ID；为日志信息添加水印和结束标志位；将日志信息的数据长度、日志ID、IP地址、水印、结束标志位和日志信息按照预设格式写入日志文件。

进一步地，获取日志信息的IP地址和为日志信息分配的日志ID包括：获取预先设置的配置信息，其中，配置信息中携带有预设编码类型；判断读取到的日志信息的编码类型是否符合预设编码类型；在日志信息的编码类型不符合预设编码类型的情况下，对日志信息进行转码处理，得到符合预设编码类型的日志信息；判断符合预设编码类型的日志信息中是否存在分隔符；在符合预设编码类型的日志信息中存在分隔符的情况下，将符合预设编码类型的日志信息分割为多条日志子信息；获取日志子信息的IP地址和为日志子信息分配的日志ID；在符合预设编码类型的日志信息中不存在分隔符的情况下，直接获取日志信息的IP地址和为日志信息分配的日志ID。

进一步地，从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件包括：按照预设格式从日志文件中逐条读取日志信息，并记录每一条日志信息的位置；对读取到的日志信息进行解析，从解析后的日志信息中提取预设字段；建立预设字段与日志信息的位置的映射关系；基于预设字段、日志信息的位置以及映射关系生成镜像文件；将镜像文件保存入数据库。

进一步地，在按照预设格式从日志文件中逐条读取日志信息之前，处理方法还包括：导入上次读取结束的位置；在上次读取结束的位置不正确的情况下，按照预设格式从日志文件中读取上次读取结束的位置所指示的下一条日志信息；对读取到的日志信息进行解析包括：对读取到的日志信息进行校验处理，在读取到的日志信息为完整数据的情况下，对读取到的日志信息进行解析；在读取到的日志信息不为完整数据的情况下，对下一条日志信息进行解析。

进一步地，在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志包括：判断查询请求是否为精确查询请求；若查询请求为精确查询请求，则从查询请求中提取查询参数，从镜像文件中读取与查询参数对应的预设字段，并获取查询请求所指示查询的日志；若查询请求不为精确查询请求，则获取查询请求中的查询对象，按照时间索引文件在日志文件中查找存在查询对象的日志信息，逐条读取存在查询对象的日志，其中，查询对象为字符串。

为了实现上述目的，根据本发明的另一方面，提供了一种日志数据的处理装置，该装置包括：写入模块，用于将读取到的网络设备的日志信息按照预设格式写入日志文件中；建立模块，用于建立日志信息的时间与日志信息的位置的映射关系，得到时间索引文件；生成模块，用于从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件；查询模块，用于在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志，其中，时间索引文件和镜像文件保存在数据库中。

进一步地，写入模块包括：第一读取模块，用于从网络设备实时读取日志信息；获取模块，用于获取日志信息的IP地址和为日志信息分配的日志ID；添加模块，用于为日志信息添加水印和结束标志位；写入子模块，用于将日志信息的数据长度、日志ID、IP地址、水印、结束标志位和日志信息按照预设格式写入日志文件。

进一步地，获取模块包括：第一获取子模块，用于获取预先设置的配置信息，其中，配置信息中携带有预设编码类型；第一判断模块，用于判断读取到的日志信息的编码类型是否符合预设编码类型；转码模块，用于在日志信息的编码类型不符合预设编码类型的情况下，对日志信息进行转码处理，得到符合预设编码类型的日志信息；第二判断模块，用于判断符合预设编码类型的日志信息中是否存在分隔符；分割模块，用于在符合预设编码类型的日志信息中存在分隔符的情况下，将符合预设编码类型的日志信息分割为多条日志子信息；第二获取子模块，用于获取日志子信息的IP地址和为日志子信息分配的日志ID；第三获取子模块，用于在符合预设编码类型的日志信息中不存在分隔符的情况下，直接获取日志信息的IP地址和为日志信息分配的日志ID。

进一步地，生成模块包括：记录模块，用于按照预设格式从日志文件中逐条读取日志信息，并记录每一条日志信息的位置；解析模块，用于对读取到的日志信息进行解析，从解析后的日志信息中提取预设字段；建立子模块，用于建立预设字段与日志信息的位置的映射关系；生成子模块，用于基于预设字段、日志信息的位置以及映射关系生成镜像文件；保存模块，用于将镜像文件保存入数据库。

进一步地，生成模块还包括：导入模块，用于在按照预设格式从日志文件中逐条读取日志信息之前，导入上次读取结束的位置；第二读取模块，用于在上次读取结束的位置不正确的情况下，按照预设格式从日志文件中读取上次读取结束的位置所指示的下一条日志信息；解析模块包括：解析子模块，用于对读取到的日志信息进行校验处理，在读取到的日志信息为完整数据的情况下，对读取到的日志信息进行解析；在读取到的日志信息不为完整数据的情况下，对下一条日志信息进行解析。

进一步地，查询模块包括：第三判断模块，用于判断查询请求是否为精确查询请求；第一查询子模块，用于若查询请求为精确查询请求，则从查询请求中提取查询参数，从镜像文件中读取与查询参数对应的预设字段，并获取查询请求所指示查询的日志；第二查询子模块，用于若查询请求不为精确查询请求，则获取查询请求中的查询对象，按照时间索引文件在日志文件中查找存在查询对象的日志信息，逐条读取存在查询对象的日志，其中，查询对象为字符串。

采用本发明实施例，采用日志文件的方式存储日志信息，提高了日志信息的采集能力；选择日志信息中的预设字段进行持久化，建立索引镜像表(即上述实施例中的镜像文件)，提供精确查询，因为要持久化的字段量降低，导致数据持久化效率大提升；通过时间索引文件提供原始数据的全文检索服务，与精确查询相辅相成，满足了用户的查询请求。通过本发明实施例，解决了现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，实现了快速高效地存储日志信息，并可以快速查询日志信息的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的日志数据的处理方法的流程图；

图2是根据本发明实施例的日志数据的处理方法的应用系统的框架图；

图3是根据本发明实施例的日志数据的处理方法的应用系统的结构图；

图4是根据本发明实施例的将日志信息写人日志文件的流程图；

图5是根据本发明实施例的生成镜像文件的流程图；

图6是根据本发明实施例的查询日志信息的处理流程图；以及

图7是根据本发明实施例的日志数据的处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是根据本发明实施例的日志数据的处理方法的流程图，如图1所示该方法包括如下步骤：

步骤S102，将读取到的网络设备的日志信息按照预设格式写入日志文件中。

步骤S104，建立日志信息的时间与日志信息的位置的映射关系，得到时间索引文件。

步骤S106，从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件。

步骤S108，在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志。

其中，时间索引文件和镜像文件保存在数据库。

采用本发明实施例，采用日志文件的方式存储日志信息，提高了日志信息的采集能力；选择日志信息中的预设字段进行持久化，建立索引镜像表(即上述实施例中的镜像文件)，提供精确查询，因为要持久化的字段量降低，导致数据持久化效率大提升；通过时间索引文件提供原始数据的全文检索服务，与精确查询相辅相成，满足了用户的查询请求。通过本发明实施例，解决了现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，实现了快速高效地存储日志信息，并可以快速查询日志信息的效果。

结合图2和图3，在获取到网络设备的日志信息之后，将日志信息按照预设格式写入日志文件，读取日志信息，从日志信息中提取预设字段生成镜像文件(即镜像索引表)。在获取到查询请求之后，若查询请求为多条件组合查询(即精确查询)，则使用镜像文件查询所指示查询的日志，按照镜像文件指示的日志位置获取原始数据并解析；若查询请求为模糊查询，则使用该查询请求按照时间索引文件对日志文件中的数据进行全文索引匹配，以得到所指示查询的日志。

表1示出了上述实施例的运行环境。

表1

项目	指标
		CPU	>2Ghz
内存	>2G
		操作系统	Windows,Linux
硬盘	>40G
		数据库	Mysql

通过上述实施例，采用先采集，后持久化的方式。采集是使用日志文件方式对日志信息进行存储，将日志信息(即事件)按照预设格式存储于数据文件中。因为文件的存储较快，日志信息能快速存储到文件系统中，保证了用户的海量日志及时收集，避免丢失。持久化则是日志信息保存到数据文件后，使用索引工具事件执行持久化，而持久化的操作仅仅是对日志信息的某些字段(即上述实施例中的预设字段)进行持久化，生成镜像文件，该预设字段可以为用户提供精确查询。例如，现有技术中以前的日志系统中，日志经过解析处理后会有56个字段，但是提供给用户进行精确查询的字段却少很多，只有几个而已，本申请实施例中只需要对这几个字段持久化，建立索引，提供查询即可。

在上述实施例中，还可以通过时间索引文件提供数据文件的模糊查找功能，根据用户的日志情况，对原始数据文件建立按照时间的全局索引，用户可以根据时间和关键字进行查询，两种查询方法相互组合，满足了用户的需求。

使用本发明的上述实施例，可以将日志审计系统中的日志入库操作从关系数据库中分流出来，减小了关系型数据库的存储压力，提高了日志采集的性能，也提高了日志审计系统的执行效率。

在本发明的上述实施例中，将读取到的网络设备的日志信息按照预设格式写入日志文件中可以包括：从网络设备实时读取日志信息；获取日志信息的IP地址和为日志信息分配的日志ID；为日志信息添加水印和结束标志位；将日志信息的数据长度、日志ID、IP地址、水印、结束标志位和日志信息按照预设格式(如表2所示)写入日志文件。

实时从网络设备读取到的日志信息，由入库进程收取，然后按照预设格式写入日志文件，预设格式如表2所示：

表2

名称

数据长度

日志id

水印

ip类型

ip地址

日志信息

结束标志位

长度

4字节

8字节

4字节

1字节

Ip类型长度

日志信息长度

4个字节

其中的名称为预设格式中的字段名称，长度为该字段名称对应的字段长度。

上述实施例中，日志读取后，提取日志的基本信息：ID，时间，日志来源IP，日志信息等，按照固定格式(即上述实施例中的预设格式)写入到日志文件中，并为每一条日志添加验证水印和结束标志。日志按天进行存储，每一天对应一个日志文件。对数据文件建立时间的全文检索。建立容灾机制，以进行系统出错后的灾难恢复。

根据本发明的上述实施例，获取日志信息的IP地址和为日志信息分配的日志ID可以包括：获取预先设置的配置信息，其中，配置信息中携带有预设编码类型；判断读取到的日志信息的编码类型是否符合预设编码类型；在日志信息的编码类型不符合预设编码类型的情况下，对日志信息进行转码处理，得到符合预设编码类型的日志信息；判断符合预设编码类型的日志信息中是否存在分隔符；在符合预设编码类型的日志信息中存在分隔符的情况下，将符合预设编码类型的日志信息分割为多条日志子信息；获取日志子信息的IP地址和为日志子信息分配的日志ID；在符合预设编码类型的日志信息中不存在分隔符的情况下，直接获取日志信息的IP地址和为日志信息分配的日志ID。

下面结合附图4以每天写入日志信息的过程为例，详细介绍上述实施例，如图4所示，上述实施例可以通过如下步骤实现：

步骤S401：初始化当日数据文件。

具体地，可以启动日志信息写入日志文件的入口，然后初始化当日数据文件(即上述实施例中的日志文件)。

步骤S402：读取日志信息。

实时监听网络设备的日志信息输出端口，获取日志信息。

步骤S403：判断日志信息的编码是否为特殊编码。

其中，在日志信息的编码为特殊编码的情况下，执行步骤S404；在日志信息的编码不为特殊编码的情况下，执行步骤S405。

具体地，上述步骤可以通过判断读取到的日志信息的编码类型是否符合预设编码类型实现。预设编码类型可以为utf-8编码类型。

步骤S404：对日志信息进行转码处理，得到预设编码类型的日志信息。

步骤S405：判断日志信息是否包含多条日志子信息。

该步骤可以通过判断符合预设编码类型的日志信息中是否存在分隔符来实现。

其中，若日志信息包含多条日志信息(即为上述实施例中分割出的多个日志子信息)，则执行步骤S406：对日志信息进行分离处理，得到多条日志子信息；若否，则执行步骤S407。

步骤S407：按照预设格式将日志信息写入数据文件。

步骤S408：获取时间索引文件。

步骤S407和步骤S408的实现方法与上述实施例的实现方法一致，在此不再赘述。

通过上述实施例，读取网络设备的日志信息后，按照配置信息来查看是否对该日志信息进行格式化，如是否进行转码，是否对数据进行分割。接着读取日志信息的IP地址，并给日志分配日志ID，然后给日志信息添加水印和结束标志位后，写入到数据文件(即上述实施例中的日志文件)，并生成时间的全文索引文件。

根据本发明的上述实施例，从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件可以包括：按照预设格式从日志文件中逐条读取日志信息，并记录每一条日志信息的位置；对读取到的日志信息进行解析，从解析后的日志信息中提取预设字段；建立预设字段与日志信息的位置的映射关系；基于预设字段、日志信息的位置以及映射关系生成镜像文件；将镜像文件保存入数据库。

在上述实施例中，通过日志索引进程按照预设格式逐条读取日志文件中的日志信息，解析读取到的日志信息，并按照用户自定义的镜像表字段(即上述实施例中的预设字段)，根据预设字段建立镜像文件，并将镜像文件保存入数据库。

具体地，从日志数据文件中顺序读取日志，并记录日志读取到的位置，便于容灾处理。日志读取后对其进行解析，然后将日志解析后的某些字段保存到镜像索引表中，镜像表与原始数据存在关联映射，镜像表中的数据可以直接对应到数据文件中的原始数据。

根据本发明上述实施例，在按照预设格式从日志文件中逐条读取日志信息之前，处理方法还可以包括：导入上次读取结束的位置；在上次读取结束的位置不正确的情况下，按照预设格式从日志文件中读取上次读取结束的位置所指示的下一条日志信息。

对读取到的日志信息进行解析可以包括：对读取到的日志信息进行校验处理，在读取到的日志信息为完整数据的情况下，对读取到的日志信息进行解析；在读取到的日志信息不为完整数据的情况下，对下一条日志信息进行解析。

如图5所示，上述实施例可以通过如下步骤实现：

步骤S501：获取当前时间。

具体地，在启动数据镜像索引入口之后，获取当前时间。

步骤S502：判断当前的数据文件是否存在。

其中，当前的数据文件即为当前时间确定的日期的日志文件。

若当天的数据文件存在，执行步骤S503；若否，则继续判断当前的数据文件是否存在，直至判断出当天的数据文件存在。

步骤S503：初始化上次读取的文件位置。

具体地，可以通过导入上次读取结束的位置来实现。

步骤S504：判断初始化得到的文件位置是否正确。

该步骤可以通过判断该文件位置是否为日志信息的起始位置来实现，也即判断该文件位置是否位于结束标识位之后。

若该文件位置不位于结束标志位之后，也即该文件位置不是日志信息的起始位置，则将该文件位置修正为下一条日志信息的起始位置，执行步骤S506：查找下一条日志信息；若是，则执行步骤S507。

步骤S507：记录当前位置。在该步骤中，可以将记录的当前位置读到内存中。

步骤S508：从日志文件中逐条读取日志信息。

步骤S509：判断当前的日志信息是否读取完毕。

若是，则执行步骤S510：切换到下一天的日志文件；若否，则执行步骤S511。

步骤S511：判断当前读取的日志信息是否正确。

具体地，可以通过判断该条日志信息的信息长度是否符合日志信息中记载的长度。如记录的日志信息的长度为4个字节，但是读取到的日志信息的长度不足4个字节，则判断出当前读取的日志信息不正确。

又如，通过判断当前读取的日志信息是否具有水印或者是否具有结束标识位判断该日志信息是否正确。具体地，若当前读取的日志信息不具有水印或者不具有结束标识位，则判断出该日志信息不正确。

若判断出该日志信息正确，则执行步骤S512；若判断出该日志信息不正确则返回执行步骤S506。

步骤S512：解析读取到的日志信息。

步骤S513：建立镜像文件。该步骤的实现方法与上述实施例中的实现方法一致，在此不再赘述。

在上述实施例中，在读取线程启动之后，首先导入上次读取的位置，并检查位置的正确性，如果不正确，则读取到下一个正确的日志为止。按照数据写入格式读取数据，一条一条顺序读取，并记录每一条日志的位置，记录当前读取的位置，根据水印和检查位查看当前记录是否正确，如果不正确，则转入矫正；数据读取完后，按照某一格式(即上述实施例中的预设格式)解析日志信息，将需要建立精确查询的字段写入到数据镜像表(即上述实施例中的镜像文件)中。

在本发明的上述实施例中，在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志可以包括：判断查询请求是否为精确查询请求；若查询请求为精确查询请求，则从查询请求中提取查询参数，从镜像文件中读取与查询参数对应的预设字段，并获取查询请求所指示查询的日志；若查询请求不为精确查询请求，则获取查询请求中的查询对象，按照时间索引文件在日志文件中查找存在查询对象的日志信息，逐条读取存在查询对象的日志，其中，查询对象为字符串。

上述实施例中，可以提供给用户两种查询：精确查询和模糊查询。对于精确查询，用户的查询请求先去镜像表进行查询，查询出结果后，按照映射方式，读取原始数据，并解析后，返回给用户。对于模糊查询，用户的查询请求提交后，首先根据时间条件，使用时间全文索引定位数据位置，然后根据模糊字段，逐条读取，进行模式匹配，查询完成后返回给用户。

具体地，如图6所示，该实施例可以通过如下步骤实现：

步骤S601：获取用户提交的查询请求。

步骤S602：判断该查询请求是否为精确查询请求。

具体地，可以通过判断该查询请求是否为多条件查询请求来实现，若查询请求为多条件查询请求，则判断出该查询请求为精确查询请求；若查询请求不为多条件查询请求，则判断出该查询请求不为精确查询请求。

若查询请求为精确查询请求，则执行步骤S603；若否，则执行步骤S604。

步骤S603：查询镜像表(即为镜像文件)。

具体地，可以从查询请求中提取查询参数，从镜像文件中读取与查询参数对应的预设字段。

步骤S605：读取原始信息并解析。具体地，可以通过读取预设字段的原始信息(即所指示查询的日志)来实现。

步骤S606：向用户返回查询结果。

步骤S604：获取时间索引文件。

步骤S607：按照时间索引文件的时间读取日志文件。

步骤S608：读取每一条日志信息进行模糊匹配。

如请求查询2014年6月13日的包括“章子怡”的日志信息，则获取2014年6月13日的日志信息，逐条读取，并对每条日志信息进行查询，判断日志信息中是否存在“章子怡”。

步骤S609：提取匹配成功的日志信息并解析。然后执行步骤S606。

具体地，日志信息中存在查询对象(如上述的“章子怡”)，则确定匹配成功。

通过上述实施例，精确查询的条件对应数据镜像表中的字段，用户提交查询请求后，先去数据镜像表中查询数据，查询到的数据根据映射关系从数据文件中获取其对应的原始信息，然后将原始信息解析，完成后将数据返回给客户；模糊查询则是直接读取数据文件，根据时间全文索引获取用户查询用到的数据部分(即查询对象)，然后一条一条顺序读取，读取到的原始信息进行模糊匹配，读取完成后将符合条件的数据汇总后进行解析，完成后返回给客户。

具体地，精确查询需要查询的对象为镜像索引表，每一条镜像数据都一对应与日志数据文件中的原始数据，从索引镜像表中查询到数据后，根据映射关系读取对应的原始数据，然后进行解析。模糊查询则直接查询日志原始数据，根据用户设定的关键字和时间，先查找全表时间索引，定位数据位置，然后根绝关键字读取符合条件的日志，进行解析，展示给用户看。

上述实施例中的位置均可以使用字节长度来表示。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图7是根据本发明实施例的日志数据的处理装置的示意图，如图4所示，该检测装置可以包括：写入模块10、建立模块30、生成模块50以及查询模块70。

其中，写入模块10用于将读取到的网络设备的日志信息按照预设格式写入日志文件中；建立模块30用于建立日志信息的时间与日志信息的位置的映射关系，得到时间索引文件；生成模块50用于从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件；查询模块70用于在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志，其中，时间索引文件和镜像文件保存在数据库中。

采用本发明实施例，采用日志文件的方式存储日志信息，提高了日志信息的采集能力；选择日志信息中的预设字段进行持久化，建立索引镜像表(即上述实施例中的镜像文件)，提供精确查询，因为要持久化的字段量降低，导致数据持久化效率大提升；通过时间索引文件提供原始数据的全文检索服务，与精确查询相辅相成，满足了用户的查询请求。通过本发明实施例，解决了现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，实现了快速高效地存储日志信息，并可以快速查询日志信息的效果。

通过上述实施例，采用先采集，后持久化的方式。采集是使用日志文件方式对日志信息进行存储，将日志信息(即事件)按照预设格式存储于数据文件中。因为文件的存储较快，日志信息能快速存储到文件系统中，保证了用户的海量日志及时收集，避免丢失。持久化则是日志信息保存到数据文件后，使用索引工具事件执行持久化，而持久化的操作仅仅是对日志信息的某些字段(即上述实施例中的预设字段)进行持久化，生成镜像文件，该预设字段可以为用户提供精确查询。例如，现有技术中以前的日志系统中，日志经过解析处理后会有56个字段，但是提供给用户进行精确查询的字段却少很多，只有几个而已，本申请实施例中只需要对这几个字段持久化，建立索引，提供查询即可。

在上述实施例中，还可以通过时间索引文件提供数据文件的模糊查找功能，根据用户的日志情况，对原始数据文件建立按照时间的全局索引，用户可以根据时间和关键字进行查询，两种查询方法相互组合，满足了用户的需求。

使用本发明的上述实施例，可以将日志审计系统中的日志入库操作从关系数据库中分流出来，减小了关系型数据库的存储压力，提高了日志采集的性能，也提高了日志审计系统的执行效率。

根据本发明的上述实施例，写入模块可以包括：第一读取模块，用于从网络设备实时读取日志信息；获取模块，用于获取日志信息的IP地址和为日志信息分配的日志ID；添加模块，用于为日志信息添加水印和结束标志位；写入子模块，用于将日志信息的数据长度、日志ID、IP地址、水印、结束标志位和日志信息按照预设格式写入日志文件。

具体地，获取模块可以包括：第一获取子模块，用于获取预先设置的配置信息，其中，配置信息中携带有预设编码类型；第一判断模块，用于判断读取到的日志信息的编码类型是否符合预设编码类型；转码模块，用于在日志信息的编码类型不符合预设编码类型的情况下，对日志信息进行转码处理，得到符合预设编码类型的日志信息；第二判断模块，用于判断符合预设编码类型的日志信息中是否存在分隔符；分割模块，用于在符合预设编码类型的日志信息中存在分隔符的情况下，将符合预设编码类型的日志信息分割为多条日志子信息；第二获取子模块，用于获取日志子信息的IP地址和为日志子信息分配的日志ID；第三获取子模块，用于在符合预设编码类型的日志信息中不存在分隔符的情况下，直接获取日志信息的IP地址和为日志信息分配的日志ID。

上述实施例中，日志读取后，提取日志的基本信息：ID，时间，日志来源IP，日志信息等，按照固定格式(即上述实施例中的预设格式)写入到日志文件中，并为每一条日志添加验证水印和结束标志。日志按天进行存储，每一天对应一个日志文件。对数据文件建立时间的全文检索；建立容灾机制，以进行系统出错后的灾难恢复。

在本发明的上述实施例中，生成模块可以包括：记录模块，用于按照预设格式从日志文件中逐条读取日志信息，并记录每一条日志信息的位置；解析模块，用于对读取到的日志信息进行解析，从解析后的日志信息中提取预设字段；建立子模块，用于建立预设字段与日志信息的位置的映射关系；生成子模块，用于基于预设字段、日志信息的位置以及映射关系生成镜像文件；保存模块，用于将镜像文件保存入数据库。

可选的，生成模块还可以包括：导入模块，用于在按照预设格式从日志文件中逐条读取日志信息之前，导入上次读取结束的位置；第二读取模块，用于在上次读取结束的位置不正确的情况下，按照预设格式从日志文件中读取上次读取结束的位置所指示的下一条日志信息；解析模块包括：解析子模块，用于对读取到的日志信息进行校验处理，在读取到的日志信息为完整数据的情况下，对读取到的日志信息进行解析；在读取到的日志信息不为完整数据的情况下，对下一条日志信息进行解析。

在上述实施例中，通过日志索引进程按照预设格式逐条读取日志文件中的日志信息，解析读取到的日志信息，并按照用户自定义的镜像表字段(即上述实施例中的预设字段)，根据预设字段建立镜像文件，并将镜像文件保存入数据库。

具体地，从日志数据文件中顺序读取日志，并记录日志读取到的位置，便于容灾处理。日志读取后对其进行解析，然后将日志解析后的某些字段保存到镜像索引表中，镜像表与原始数据存在关联映射，镜像表中的数据可以直接对应到数据文件中的原始数据。

需要进一步说明的是，查询模块可以包括：第三判断模块，用于判断查询请求是否为精确查询请求；第一查询子模块，用于若查询请求为精确查询请求，则从查询请求中提取查询参数，从镜像文件中读取与查询参数对应的预设字段，并获取查询请求所指示查询的日志；第二查询子模块，用于若查询请求不为精确查询请求，则获取查询请求中的查询对象，按照时间索引文件在日志文件中查找与查询对象一致的数据，逐条读取存在查询对象的数据的日志，其中，查询对象为字符串。

上述实施例中，可以提供给用户两种查询：精确查询和模糊查询。对于精确查询，用户的查询请求先去镜像表进行查询，查询出结果后，按照映射方式，读取原始数据，并解析后，返回给用户。对于模糊查询，用户的查询请求提交后，首先根据时间条件，使用时间全文索引定位数据位置，然后根据模糊字段，逐条读取，进行模式匹配，查询完成后返回给用户。

具体地，精确查询需要查询的对象为镜像索引表，每一条镜像数据都一对应与日志数据文件中的原始数据，从索引镜像表中查询到数据后，根据映射关系读取对应的原始数据，然后进行解析。模糊查询则直接查询日志原始数据，根据用户设定的关键字和时间，先查找全表时间索引，定位数据位置，然后根据关键字读取符合条件的日志，进行解析，展示给用户看。

本实施例中所提供的各个模块与方法实施例对应步骤所提供的使用方法相同、应用场景也可以相同。当然，需要注意的是，上述模块涉及的方案可以不限于上述实施例一中的内容和场景，且上述模块可以运行在计算机终端或移动终端，可以通过软件或硬件实现。

从以上的描述中，可以看出，本发明实现了如下技术效果：

采用本发明实施例，采用日志文件的方式存储日志信息，提高了日志信息的采集能力；选择日志信息中的预设字段进行持久化，建立索引镜像表(即上述实施例中的镜像文件)，提供精确查询，因为要持久化的字段量降低，导致数据持久化效率大提升；通过时间索引文件提供原始数据的全文检索服务，与精确查询相辅相成，满足了用户的查询请求。通过本发明实施例，解决了现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，实现了快速高效地存储日志信息，并可以快速查询日志信息的效果。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种日志数据的处理方法，其特征在于，包括：

将读取到的网络设备的日志信息按照预设格式写入日志文件中；

建立所述日志信息的时间与所述日志信息的位置的映射关系，得到时间索引文件；

从所述日志文件中的日志信息中提取预设字段，并建立所述预设字段与所述日志信息的映射关系，生成镜像文件；

在获取到用户的查询请求之后，使用所述时间索引文件或所述镜像文件获取所述查询请求所指示查询的日志，

其中，所述时间索引文件和所述镜像文件保存在数据库中。

2.根据权利要求1所述的处理方法，其特征在于，将读取到的网络设备的日志信息按照预设格式写入日志文件中包括：

从网络设备实时读取所述日志信息；

获取所述日志信息的IP地址和为所述日志信息分配的日志ID；

为所述日志信息添加水印和结束标志位；

将所述日志信息的数据长度、所述日志ID、所述IP地址、所述水印、所述结束标志位和所述日志信息按照所述预设格式写入所述日志文件。

3.根据权利要求2所述的处理方法，其特征在于，获取所述日志信息的IP地址和为所述日志信息分配的日志ID包括：

获取预先设置的配置信息，其中，所述配置信息中携带有预设编码类型；

判断读取到的所述日志信息的编码类型是否符合所述预设编码类型；

在所述日志信息的编码类型不符合所述预设编码类型的情况下，对所述日志信息进行转码处理，得到符合所述预设编码类型的日志信息；

判断所述符合所述预设编码类型的日志信息中是否存在分隔符；

在所述符合所述预设编码类型的日志信息中存在所述分隔符的情况下，将所述符合所述预设编码类型的日志信息分割为多条日志子信息；

获取所述日志子信息的所述IP地址和为所述日志子信息分配的所述日志ID；

在所述符合所述预设编码类型的日志信息中不存在所述分隔符的情况下，直接获取所述日志信息的所述IP地址和为所述日志信息分配的所述日志ID。

4.根据权利要求1所述的处理方法，其特征在于，从所述日志文件中的日志信息中提取预设字段，并建立所述预设字段与所述日志信息的映射关系，生成镜像文件包括：

按照所述预设格式从所述日志文件中逐条读取所述日志信息，并记录每一条所述日志信息的位置；

对读取到的所述日志信息进行解析，从解析后的日志信息中提取所述预设字段；

建立所述预设字段与所述日志信息的位置的映射关系；

基于所述预设字段、所述日志信息的位置以及所述映射关系生成所述镜像文件；

将所述镜像文件保存入所述数据库。

5.根据权利要求4中所述的处理方法，其特征在于，

在按照所述预设格式从所述日志文件中逐条读取所述日志信息之前，所述处理方法还包括：导入上次读取结束的位置；在所述上次读取结束的位置不正确的情况下，按照所述预设格式从所述日志文件中读取所述上次读取结束的位置所指示的下一条日志信息；

对读取到的所述日志信息进行解析包括：

对所述读取到的所述日志信息进行校验处理，在所述读取到的所述日志信息为完整数据的情况下，对所述读取到的所述日志信息进行解析；在所述读取到的所述日志信息不为完整数据的情况下，对下一条日志信息进行解析。

6.根据权利要求1所述的处理方法，其特征在于，在获取到用户的查询请求之后，使用所述时间索引文件或所述镜像文件获取所述查询请求所指示查询的日志包括：

判断所述查询请求是否为精确查询请求；

若所述查询请求为所述精确查询请求，则从所述查询请求中提取查询参数，从所述镜像文件中读取与所述查询参数对应的所述预设字段，并获取所述查询请求所指示查询的日志；

若所述查询请求不为所述精确查询请求，则获取所述查询请求中的查询对象，按照所述时间索引文件在所述日志文件中查找存在所述查询对象的日志信息，逐条读取存在所述查询对象的日志，

其中，查询对象为字符串。

7.一种日志数据的处理装置，其特征在于，包括：

写入模块，用于将读取到的网络设备的日志信息按照预设格式写入日志文件中；

建立模块，用于建立所述日志信息的时间与所述日志信息的位置的映射关系，得到时间索引文件；

生成模块，用于从所述日志文件中的日志信息中提取预设字段，并建立所述预设字段与所述日志信息的映射关系，生成镜像文件；

查询模块，用于在获取到用户的查询请求之后，使用所述时间索引文件或所述镜像文件获取所述查询请求所指示查询的日志，

其中，所述时间索引文件和所述镜像文件保存在数据库中。

8.根据权利要求7所述的处理装置，其特征在于，所述写入模块包括：

第一读取模块，用于从网络设备实时读取所述日志信息；

获取模块，用于获取所述日志信息的IP地址和为所述日志信息分配的日志ID；

添加模块，用于为所述日志信息添加水印和结束标志位；

写入子模块，用于将所述日志信息的数据长度、所述日志ID、所述IP地址、所述水印、所述结束标志位和所述日志信息按照所述预设格式写入所述日志文件。

9.根据权利要求8所述的处理装置，其特征在于，所述获取模块包括：

第一获取子模块，用于获取预先设置的配置信息，其中，所述配置信息中携带有预设编码类型；

第一判断模块，用于判断读取到的所述日志信息的编码类型是否符合所述预设编码类型；

转码模块，用于在所述日志信息的编码类型不符合所述预设编码类型的情况下，对所述日志信息进行转码处理，得到符合所述预设编码类型的日志信息；

第二判断模块，用于判断所述符合所述预设编码类型的日志信息中是否存在分隔符；

分割模块，用于在所述符合所述预设编码类型的日志信息中存在所述分隔符的情况下，将所述符合所述预设编码类型的日志信息分割为多条日志子信息；

第二获取子模块，用于获取所述日志子信息的所述IP地址和为所述日志子信息分配的所述日志ID；

第三获取子模块，用于在所述符合所述预设编码类型的日志信息中不存在所述分隔符的情况下，直接获取所述日志信息的所述IP地址和为所述日志信息分配的所述日志ID。

10.根据权利要求7所述的处理装置，其特征在于，所述生成模块包括：

记录模块，用于按照所述预设格式从所述日志文件中逐条读取所述日志信息，并记录每一条所述日志信息的位置；

解析模块，用于对读取到的所述日志信息进行解析，从解析后的日志信息中提取所述预设字段；

建立子模块，用于建立所述预设字段与所述日志信息的位置的映射关系；

生成子模块，用于基于所述预设字段、所述日志信息的位置以及所述映射关系生成所述镜像文件；

保存模块，用于将所述镜像文件保存入所述数据库。

11.根据权利要求10中所述的处理装置，其特征在于，

所述生成模块还包括：导入模块，用于在按照所述预设格式从所述日志文件中逐条读取所述日志信息之前，导入上次读取结束的位置；第二读取模块，用于在所述上次读取结束的位置不正确的情况下，按照所述预设格式从所述日志文件中读取所述上次读取结束的位置所指示的下一条日志信息；

所述解析模块包括：解析子模块，用于对所述读取到的所述日志信息进行校验处理，在所述读取到的所述日志信息为完整数据的情况下，对所述读取到的所述日志信息进行解析；在所述读取到的所述日志信息不为完整数据的情况下，对下一条日志信息进行解析。

12.根据权利要求7所述的处理装置，其特征在于，所述查询模块包括：

第三判断模块，用于判断所述查询请求是否为精确查询请求；

第一查询子模块，用于若所述查询请求为所述精确查询请求，则从所述查询请求中提取查询参数，从所述镜像文件中读取与所述查询参数对应的所述预设字段，并获取所述查询请求所指示查询的日志；

第二查询子模块，用于若所述查询请求不为所述精确查询请求，则获取所述查询请求中的查询对象，按照所述时间索引文件在所述日志文件中查找存在所述查询对象的日志信息，逐条读取存在所述查询对象的日志，

其中，查询对象为字符串。