CN108228417B - 车联网日志处理方法及处理装置 - Google Patents

Abstract

本发明实施例公开一种车联网日志处理方法及处理装置，该方法包括获取包含多条日志的目标日志文件；获取所述日志文件的来源标识及处理规则标识；根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志。本发明实施例的日志处理方法及装置，获取包含多条日志的目标日志文件，获取日志文件的来源标识及处理规则标识，根据来源标识及处理规则标识处理日志文件中的每一条日志，从而实现日志的集中式管理，与现有技术相比能够提高日志处理效率。

Description

车联网日志处理方法及处理装置

技术领域

本发明涉及计算机领域，尤其涉及一种车联网日志处理方法及处理装置。

背景技术

应用日志是基于时间顺序，记录应用程序发生关键事件的数据。开发人员，可以根据应用日志中的错误和调试信息等数据，跟踪程序运行、分析程序性能，有利于提升程序质量和开发效率；运维人员，可以根据应用日志中的运行数据，监控程序状态、定位排查故障、分析性能瓶颈等。因此应用日志的监控和管理对程序开发和企业运维都有着重要作用。

传统的应用日志监管方式本地存储，碎片化严重，格式不统一，日志处理效率，如何提高日志处理效率是迫切需要解决的问题。

发明内容

本发明实施例提供一种车联网日志处理方法及处理装置，能够提高提高日志处理效率。

本发明实施例采用如下技术方案：

第一方面，提供一种日志处理方法，包括：

获取包含多条日志的目标日志文件；

获取所述日志文件的来源标识及处理规则标识；

根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志。

可选的，所述获取包含多条日志的日志文件包括：

接收日志文件获取条件；

按照所述获取条件获取所述目标日志文件。

可选的，所述根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志包括：

根据所述来源标识及所述处理规则标识查询对应的处理规则；

按照所述处理规则、所述来源标识及所述处理规则标识处理所述日志文件中的每一条日志。

可选的，所述处理规则包括：消息类型、处理顺序、处理方式。

可选的，所述根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志之前，还包括：

获取日志分条规则；

按照所述分条规则，将所述目标日志文件拆分为单条日志。

第二方面，提供一种日志处理装置，其特征在于，包括：

第一获取模块，用于获取包含多条日志的目标日志文件；

第二获取模块，用于获取所述日志文件的来源标识及处理规则标识；

处理模块，用于根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志。

可选的，所述第一获取模块包括：

接收单元，用于接收日志文件获取条件；

获取单元，用于按照所述获取条件获取所述目标日志文件。

可选的，所述处理模块包括：

查询单元，用于根据所述来源标识及所述处理规则标识查询对应的处理规则；

处理单元，用于按照所述处理规则、所述来源标识及所述处理规则标识处理所述日志文件中的每一条日志。

可选的，所述处理规则包括：消息类型、处理顺序、处理方式。

可选的，还包括：

第三获取模块，用于获取日志分条规则；

拆分模块，用于按照所述分条规则，将所述目标日志文件拆分为单条日志。

基于上述技术方案的日志处理方法及装置，获取包含多条日志的目标日志文件，获取日志文件的来源标识及处理规则标识，根据来源标识及处理规则标识处理日志文件中的每一条日志，从而实现日志单条处理，与现有技术相比能够提高提高日志处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明实施例提供的一种日志系统的结构示意图。

图2为本发明实施例提供的一种日志处理方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

如图1所示，本发明实施例提供一种日志系统，该系统中各模块描述如下：

Producer:消息收集端程序，负责对日志数据的实时监控及向队列推送消息。同时监听并接受来自管理程序的命令、并处理结果等。

Consumer:消息处理端程序，负责拉取队列消息，并根据设定的处理规则对消息进行处理。

ZooKeeper:负责监控Producer、consumer运行状态的管理。 manager:管理程序，通过调用API，制订Producer消息处理规则，负责对 Producer、consumer 进行监控等。

db:用于记录Producer运行环境参数、数据收集的设定、数据处理规则等。

如图2所示，本发明实施例提供一种日志处理方法，该方法可以应用于图1所示的系统，该方法包括：

21、获取包含多条日志的目标日志文件。

22、获取所述日志文件的来源标识及处理规则标识。

23、根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志。

本发明实施例中可选的，所述获取包含多条日志的日志文件包括：

接收日志文件获取条件；

按照所述获取条件获取所述目标日志文件。

本发明实施例中可选的，所述根据所述来源标识及处理规则标识处理所述日志文件中的日志包括：

根据所述来源标识及所述处理规则标识查询对应的处理规则；

按照所述处理规则处理所述日志文件中的日志，将其按规则其拆分为时序日志的集合，加入所述来源标识及所述处理规则标识，逐一或批量推送到队列之中。

本发明实施例中可选的，所述处理规则包括：消息类型、处理顺序、处理方式。

本发明实施例中可选的，所述根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志之前，还包括：

获取日志分条规则；

按照所述分条规则，将所述目标日志文件拆分为单条日志。

以下结合图1详细说明本发明实施例的日志处理方法，当某个程序日志需要进行监控时，首先需要拷贝Producer运行程序到目标服务器上，并运行程序。 Producer向Zookeeper节点上注册自身的IP和监听端口，并启动监听。程序进一步检查自身日志配置信息，由于还没有进行配置，此时程序将处于待机状态。并自动将状态信息写入Zookeeper节点之上。

登录manager管理程序通过查看ZooKeeper客户端节点获取所有收集端状态，Manager通过日志监控管理业面与Producer建立起SOCKET套接字连接，通过预设的命令可以获取到目标机器的文件目录结构树结构，来设置producer 监控文件的目录,及要读取的日志文件匹配规则(哪些文件要处理)、来源(app 属性)、标签(tag属性)、扫描频率、分条规则(如何将多行合并成一条日志) 等属性，并记录到DB库中。

Manager管理系统在“消息处理规则”中创建与第二步设定的日志来源(app) 和标签(tag)相应的处理方法，设定的规则中描述了对应的日志来源、标签，消息类型，处理的方式(Regex,json)及处理顺序等，用来告知consumer 在接收到相关日志时如何处理这些日志。

Manager管理程序设置完成后，通过日志监控管理业面发送启动指令通知producer启动，producer接到指令后通过调用API检查配置信息，使用manager 设定的读取文件规则匹配对应的文件集，逐个处理文件，并加入来源(app)及标签(tag)将信息推送到Kafka队列中。

Consumer启动后通过API获取处理规则。获取完毕后开始启动接收数据线程。

从队列接收数据后，通过识别app和tag与规则匹配。按照规则约定的方式进行相应用处理。通过植入app和tag属性，处理程序能更快地找到合适的处理规则，处理速度将大幅度提高。

本发明实施例的日志处理方法，获取包含多条日志的目标日志文件，获取日志文件的来源标识及处理规则标识，根据来源标识及处理规则标识处理日志文件中的每一条日志，从而实现日志单条处理，与现有技术相比能够提高日志处理效率。

本发明实施例提供提供一种日志处理装置，包括：

第一获取模块，用于获取包含多条日志的目标日志文件；

第二获取模块，用于获取所述日志文件的来源标识及处理规则标识；

处理模块，用于根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志。

可选的，所述第一获取模块包括：

接收单元，用于接收日志文件获取条件；

获取单元，用于按照所述获取条件获取所述目标日志文件。

可选的，所述处理模块包括：

查询单元，用于根据所述来源标识及所述处理规则标识查询对应的处理规则；

处理单元，用于按照所述处理规则、所述来源标识及所述处理规则标识处理所述日志文件中的每一条日志。

可选的，所述处理规则包括：消息类型、处理顺序、处理方式。

可选的，还包括：

第三获取模块，用于获取日志分条规则；

拆分模块，用于按照所述分条规则，将所述目标日志文件拆分为单条日志。

本发明实施例的车联网日志处理装置，获取包含多条日志的目标日志文件，获取日志文件的来源标识及处理规则标识，根据来源标识及处理规则标识处理日志文件中的每一条日志，从而实现日志单条处理，与现有技术相比能够提高提高日志处理效率。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

以上，仅为本发明的具体实施方式，但本发明 的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明 揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明 的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车联网日志处理方法，其特征在于，所述方法用于日志系统，该系统包括：

Producer:消息收集端程序，负责对日志数据的实时监控及向队列推送消息，同时监听并接受来自管理程序的命令、并处理结果；

Consumer:消息处理端程序，负责拉取队列消息，并根据设定的处理规则对消息进行处理；

ZooKeeper:负责监控Producer、Consumer运行状态的管理，Manager:管理程序，通过调用API，制订Producer消息处理规则，负责对Producer、Consumer 进行监控；

DB:用于记录Producer运行环境参数、数据收集的设定、数据处理规则；

具体的：

当某个程序日志需要进行监控时，首先需要拷贝Producer运行程序到目标服务器上，并运行程序；Producer向Zookeeper节点上注册自身的IP和监听端口，并启动监听；程序进一步检查自身日志配置信息，由于还没有进行配置，此时程序将处于待机状态；并自动将状态信息写入Zookeeper节点之上；

登录Manager管理程序通过查看ZooKeeper客户端节点获取所有收集端状态，Manager通过日志监控管理业面与Producer建立起SOCKET套接字连接，通过预设的命令可以获取到目标机器的文件目录结构树结构，来设置Producer监控文件的目录,及要读取的日志文件匹配规则、来源、标签、扫描频率、分条规则属性，并记录到DB库中；

Manager管理系统在“消息处理规则”中创建与第二步设定的日志来源和标签相应的处理方法，设定的规则中描述了对应的日志来源、标签，消息类型，处理的方式及处理顺序，用来告知Consumer 在接收到相关日志时如何处理这些日志；

Manager管理程序设置完成后，通过日志监控管理业面发送启动指令通知Producer启动，Producer接到指令后通过调用API检查配置信息，使用Manager设定的读取文件规则匹配对应的文件集，逐个处理文件，并加入来源及标签将信息推送到Kafka队列中；

Consumer启动后通过API获取处理规则；获取完毕后开始启动接收数据线程；

所述方法包括：

获取包含多条日志的目标日志文件；

获取所述日志文件的来源标识及处理规则标识；

根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志。

2.根据权利要求1所述的方法，其特征在于，所述获取包含多条日志的日志文件包括：

接收日志文件获取条件；

按照所述获取条件获取所述目标日志文件。

3.根据权利要求1所述的方法，其特征在于，所述根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志包括：

根据所述来源标识及所述处理规则标识查询对应的处理规则；

按照所述处理规则、所述来源标识及所述处理规则标识处理所述日志文件中的每一条日志。

4.根据权利要求3所述的方法，其特征在于，所述处理规则包括：消息类型、处理顺序、处理方式。

5.根据权利要求1所述的方法，其特征在于，所述根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志之前，还包括：

获取日志分条规则；

按照所述分条规则，将所述目标日志文件拆分为单条日志。

6.一种车联网日志处理装置，其特征在于，所述装置用于日志系统，该系统包括：

Producer:消息收集端程序，负责对日志数据的实时监控及向队列推送消息，同时监听并接受来自管理程序的命令、并处理结果；

Consumer:消息处理端程序，负责拉取队列消息，并根据设定的处理规则对消息进行处理；

ZooKeeper:负责监控Producer、Consumer运行状态的管理，Manager:管理程序，通过调用API，制订Producer消息处理规则，负责对Producer、Consumer 进行监控；

DB:用于记录Producer运行环境参数、数据收集的设定、数据处理规则；

具体的：

当某个程序日志需要进行监控时，首先需要拷贝Producer运行程序到目标服务器上，并运行程序；Producer向Zookeeper节点上注册自身的IP和监听端口，并启动监听；程序进一步检查自身日志配置信息，由于还没有进行配置，此时程序将处于待机状态；并自动将状态信息写入Zookeeper节点之上；

登录Manager管理程序通过查看ZooKeeper客户端节点获取所有收集端状态，Manager通过日志监控管理业面与Producer建立起SOCKET套接字连接，通过预设的命令可以获取到目标机器的文件目录结构树结构，来设置Producer监控文件的目录,及要读取的日志文件匹配规则、来源、标签、扫描频率、分条规则属性，并记录到DB库中；

Manager管理系统在“消息处理规则”中创建与第二步设定的日志来源和标签相应的处理方法，设定的规则中描述了对应的日志来源、标签，消息类型，处理的方式及处理顺序，用来告知Consumer 在接收到相关日志时如何处理这些日志；

Manager管理程序设置完成后，通过日志监控管理业面发送启动指令通知Producer启动，Producer接到指令后通过调用API检查配置信息，使用Manager设定的读取文件规则匹配对应的文件集，逐个处理文件，并加入来源及标签将信息推送到Kafka队列中；

Consumer启动后通过API获取处理规则；获取完毕后开始启动接收数据线程；

所述装置包括：

第一获取模块，用于获取包含多条日志的目标日志文件；

第二获取模块，用于获取所述日志文件的来源标识及处理规则标识；

处理模块，用于根据所述来源标识及处理规则标识处理所述日志文件中的每一条日志。

7.根据权利要求6所述的装置，其特征在于，所述第一获取模块包括：

接收单元，用于接收日志文件获取条件；

获取单元，用于按照所述获取条件获取所述目标日志文件。

8.根据权利要求6所述的装置，其特征在于，所述处理模块包括：

查询单元，用于根据所述来源标识及所述处理规则标识查询对应的处理规则；

处理单元，用于按照所述处理规则、所述来源标识及所述处理规则标识处理所述日志文件中的每一条日志。

9.根据权利要求6所述的装置，其特征在于，所述处理规则包括：消息类型、处理顺序、处理方式。

10.根据权利要求6所述的装置，其特征在于，还包括：

第三获取模块，用于获取日志分条规则；

拆分模块，用于按照所述分条规则，将所述目标日志文件拆分为单条日志。

Images