CN106202305A - 一种日志处理方法、装置及数据库系统 - Google Patents

Abstract

本发明公开一种日志处理方法、装置及数据库系统，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表，所述方法包括：接收日志客户端发送的日志数据，所述日志数据为所述日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。相比现有技术，本发明通过预先配置日志格式，确定日志数据的日志类型，并将日志数据存储到日志类型对应的数据库表中，实现日志分类统计。

Description

一种日志处理方法、装置及数据库系统

技术领域

本发明涉及计算机技术领域，具体涉及一种日志处理方法、装置及数据库系统。

背景技术

现有的日志处理工具，例如Rsyslog(Rocket-fast System for Log processing，快速日志处理系统)，在接收到日志数据后，查看该日志数据的格式是否符合Rsyslog配置文件设置的日志格式，若是，则将该日志数据存储到数据库中。

具体地，现有的日志处理方案，会将所有符合Rsyslog配置文件设置的日志格式的日志数据都存储到一张固定的数据库表中，且日志数据中包含的日志信息(即对日志分析有用的日志内容)全部存储在该数据库表的一个固定字段内。

因此，现有的日志处理方案，处理不同类型的日志数据的效率低，例如对于日志的统计、不同类型的日志数据的监控等方面效率低，进一步地，现有的日志处理方案，对于日志的分类处理、报表制作等方面难以实现。

发明内容

鉴于上述问题，本发明提出了克服上述问题的一种日志处理方法、装置及数据库系统。

第一方面，本发明提出一种日志处理方法，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述方法包括：

接收日志客户端发送的日志数据，所述日志数据为所述日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

可选的，所述将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的调用信息，调用所述数据库系统中预先配置的存储过程，并将所述日志数据发送到所述数据库系统，以使所述数据库系统通过所述存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

可选的，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

第二方面，本发明还提出一种日志处理装置，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述装置包括：

接收单元，用于接收日志客户端发送的日志数据，所述日志数据为所述日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

发送单元，用于将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

可选的，所述发送单元，用于基于预先配置的调用信息，调用所述数据库系统中预先配置的存储过程，并将所述日志数据发送到所述数据库系统，以使所述数据库系统通过所述存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

可选的，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

第三方面，本发明还提出一种日志处理方法，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述方法包括：

接收日志处理装置发送的日志数据，所述日志数据为日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

可选的，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

通过预先配置的存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

可选的，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

第四方面，本发明还提出一种数据库系统，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述数据库系统包括：

接收单元，用于接收日志处理装置发送的日志数据，所述日志数据为日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

处理单元，用于确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

相比于现有技术，本发明提出的日志处理方法、装置及数据库系统，通过预先配置日志格式，确定日志数据的日志类型，并将日志数据存储到日志类型对应的数据库表中，实现日志分类统计。

附图说明

图1为本发明第一实施例提供的一种日志处理方法流程图；

图2为本发明第二实施例提供的一种日志处理装置结构图；

图3为本发明第三实施例提供的一种日志处理方法流程图；

图4为本发明第四实施例提供的一种数据库系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

需要说明的是，本文中提及的日志客户端是生成日志并向日志服务器发送日志的终端，可以包括任何类型的设备，诸如手持式计算机、个人数字助理PDA、网络家电、智能手机、平板电脑、笔记本电脑、智能电视、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备、增强型通用分组无线业务(EGPRS)移动电话、媒体播放器、导航设备或者这些数据处理设备或其他数据处理设备中的任何两个或多个的组合。

需要说明的是，本文中提及的日志服务器为具有日志处理功能的服务器，本文中提及的日志处理装置和数据库系统可部署于同一日志服务器；也可部署于不同服务器，不同服务器协同工作，共同组成日志服务器，也可称为日志服务器组。

如图1所示，本实施例公开一种日志处理方法，该方法的执行主体为日志处理装置，该方法执行之前，首先基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表。例如对于注册类型的日志和认证类型的日志，分别在数据库系统中预先配置两个数据库表，一个数据库表用于存放日志类型为注册的日志数据，另一个数据库表用于存放日志类型为认证的日志数据。

本实施例公开的日志处理方法，可包括以下步骤101和102：

101、接收日志客户端发送的日志数据，所述日志数据为所述日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息。

本实施例中，需要在日志客户端预先配置日志格式，以使日志客户端按照日志格式生成日志数据。日志格式可以为系统信息和日志信息的组合，例如日志格式为系统信息+日志信息；或日志信息+系统信息。其中，系统信息为日志客户端在生成日志数据时所伴随产生的系统信息，例如日志客户端的IP地址、日志等级等与非日志信息。日志信息则为对日志分析有用的日志信息，包括日志类型信息以及与日志类型对应的至少一个属性信息，例如，对于注册类型的日志，其属性信息可以为用户名、密码等注册相关信息，也就是说，对于注册类型的日志，至少包括两个属性信息：用户名、密码；又例如，对于认证类型的日志，其属性信息可以为用户名、密码、认证信息等认证相关信息，也就是说，对于认证类型的日志，至少包括三个属性信息：用户名、密码、认证信息。

102、将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

本实施例中，可通过在该方法的执行主体中部署日志处理工具，例如Rsyslog，利用Rsyslog来接收日志客户端发送的日志数据，以及将日志数据发送到数据库系统。

可见，本实施例公开的日志处理方法，通过预先配置日志格式，确定日志数据的日志类型，并将日志数据存储到日志类型对应的数据库表中，实现日志分类统计。

进一步地，本实施例公开的日志处理方法，解决了日志的详细分析问题，将日志分类型存储，实现了更详细的日志展示和更效率的日志查询，并能够容易的利用这些数据生成不同的报表文件。

在一个具体的例子一中，给出步骤102“将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中”的一种优选实施方式，具体如下：

基于预先配置的调用信息，调用所述数据库系统中预先配置的存储过程，并将所述日志数据发送到所述数据库系统，以使所述数据库系统通过所述存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

本实施例中，在数据库系统中预先配置存储过程，用以确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

本实施例中，通过预先对该方法的执行主体配置调用信息，使得该方法的执行主体在接收日志客户端发送的日志数据后，通过调用信息调用数据库系统中预先配置的存储过程，从而使数据库系统通过存储过程实现对日志数据的分类存储。

可见，本实施例公开的日志处理方法，通过主动调用方式，实现对日志数据的分类存储。

进一步，对于在该方法的执行主体中部署日志处理工具，例如Rsyslog的实施方式，调用信息可设置在Rsyslog的配置文件中，即在Rsyslog的配置文件中新增调用信息，以调用数据库系统中预先配置的存储过程。

在一个具体的例子二中，给出步骤102中“确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中”的一种优选实施方式，具体如下：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

本实施例中，由于不同的类型对应的属性信息不同，因此，在截取出日志类型信息后，还需要基于截取出的日志类型，才能确定日志数据中携带的与日志类型对应的属性信息及属性信息的个数，从而基于日志格式，截取出日志数据中与该日志类型对应的各属性信息。

如图2所示，本实施例公开一种日志处理装置，首先基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；本实施例公开的日志处理装置可包括以下单元：接收单元21和发送单元22，各单元具体说明如下：

接收单元21，用于接收日志客户端发送的日志数据，所述日志数据为所述日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息。

发送单元22，用于将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

本实施例公开的日志处理装置，可实现图1所示的日志处理流程，因此，本实施例中的装置的效果及说明可参见图1所示的方法实施例，在此不再赘述。

在一个具体的例子中，所述发送单元22，用于基于预先配置的调用信息，调用所述数据库系统中预先配置的存储过程，并将所述日志数据发送到所述数据库系统，以使所述数据库系统通过所述存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

在一个具体的例子中，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

如图3所示，本实施例公开一种日志处理方法，该方法的执行主体为数据库系统，首先基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；本实施例公开的日志处理方法可包括以下步骤301和302：

301、接收日志处理装置发送的日志数据，所述日志数据为日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

本实施例中，步骤301中所述日志处理装置可采用如前述实施例中描述的日志处理装置，本实施例不再赘述。

302、确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

可见，本实施例公开的日志处理方法，通过预先配置日志格式，确定日志数据的日志类型，并将日志数据存储到日志类型对应的数据库表中，实现日志分类统计。

进一步地，本实施例公开的日志处理方法，解决了日志的详细分析问题，将日志分类型存储，实现了更详细的日志展示和更效率的日志查询，并能够容易的利用这些数据生成不同的报表文件。

在一个具体的例子中，步骤302“确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中”，具体为：通过预先配置的存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

在一个具体的例子中，步骤302“所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中”，具体可包括图3中未示出的步骤3021至3023：

3021、基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

3022、基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

3023、将截取到的各属性信息存储到该日志类型对应的数据库表中。

如图4所示，本实施例公开一种数据库系统，首先基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述数据库系统可包括以下单元：接收单元41和处理单元42，各单元说明如下：

接收单元41，用于接收日志处理装置发送的日志数据，所述日志数据为日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

处理单元42，用于确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

本实施例公开的数据库系统，可实现图3所示的日志处理流程，因此，本实施例中的数据库系统的效果及说明可参见图3所示的方法实施例，在此不再赘述。

在一个具体的例子中，处理单元42，用于通过预先配置的存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

在一个具体的例子中，处理单元42，具体用于基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；将截取到的各属性信息存储到该日志类型对应的数据库表中。

本领域技术人员可以理解，可以把实施例中的各单元组合成一个单元，以及此外可以把它们分成多个子单元。除了这样的特征和/或过程或者单元中的至少一些是互相排斥之处，可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

本领域技术人员可以理解，实施例中的各单元可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种日志处理方法，其特征在于，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述方法包括：

接收日志客户端发送的日志数据，所述日志数据为所述日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

2.根据权利要求1所述的方法，其特征在于，所述将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的调用信息，调用所述数据库系统中预先配置的存储过程，并将所述日志数据发送到所述数据库系统，以使所述数据库系统通过所述存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

4.一种日志处理装置，其特征在于，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述装置包括：

接收单元，用于接收日志客户端发送的日志数据，所述日志数据为所述日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

发送单元，用于将所述日志数据发送到所述数据库系统，以使所述数据库系统确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

5.根据权利要求4所述的装置，其特征在于，所述发送单元，用于基于预先配置的调用信息，调用所述数据库系统中预先配置的存储过程，并将所述日志数据发送到所述数据库系统，以使所述数据库系统通过所述存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

6.根据权利要求4或5所述的装置，其特征在于，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

7.一种日志处理方法，其特征在于，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述方法包括：

接收日志处理装置发送的日志数据，所述日志数据为日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

8.根据权利要求7所述的方法，其特征在于，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

通过预先配置的存储过程确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。

9.根据权利要求7或8所述的方法，其特征在于，所述确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中，包括：

基于预先配置的日志格式信息，截取出所述日志数据中携带的日志类型信息；

基于该日志类型信息，截取出所述日志数据中与该日志类型对应的各属性信息；

将截取到的各属性信息存储到该日志类型对应的数据库表中。

10.一种数据库系统，其特征在于，基于多个预设的日志类型，在数据库系统中预先配置与各预设的日志类型一一对应的数据库表；所述数据库系统包括：

接收单元，用于接收日志处理装置发送的日志数据，所述日志数据为日志客户端基于预先配置的日志格式信息生成的日志数据；所述日志格式信息包括日志类型信息以及与所述日志类型对应的至少一个属性信息；

处理单元，用于确定所述日志数据的日志类型，并将所述日志数据存储到与该日志类型对应的数据库表中。