CN110688350B - 一种存储日志的方法、装置 - Google Patents

Abstract

本申请公开了一种存储日志的方法、装置，该方法包括：确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，其中，所述第一日志库存储至少两个类别的日志；将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。通过使用该方法，可根据日志的存储状况对日志的存储方式进行调整，避免对各类别的日志分别使用独立的日志库造成的成本高、以及避免将多类别的日志存储至共享的日志库中造成数据分布不均匀。

Description

一种存储日志的方法、装置

技术领域

本申请涉及计算机存储领域，具体涉及一种存储日志的方法。本申请同时涉及一种存储日志的装置、一种电子设备以及一种计算机可读取存储介质。本申请还涉及一种数据处理方法。

背景技术

对大批量的日志进行存储的一种基本方法是分片存储，该过程是通过预定的分配规则将不同类别的日志分配到不同的日志库中进行存储，日志库指的是能够提供日志查询功能的日志的最终存储地点，其可以为单独的数据库，也可以为日志搜索服务器。常见的分片存储方式主要包括如下两种：

方案1：为每一类别的日志创建独立的日志库，单一类别的日志数据固定写入独立的日志库。

方案2：固定创建一定数量的日志库，为每个类别的日志选择用于进行存储的日志库，可实现将多种类别的日志数据存储至一个共享日志库中。

上述两种方案均存在一定的缺陷，具体为：

方案1中对每一类别的日志均对应独立的日志库，其成本较高。独立的日志库对应独立的机器及磁盘，其维护成本较高；并且，每一类别的日志均对应固定的成本，对于某些数据量较小的类别的日志，存在一定的资源浪费。

上述方案2的缺点是将不同类别的日志数据存储至一个共享日志库中，不同类别的日志的数据量不同，某些类别的日志的数据量显著高于其它类别的日志的数据量，例如，SaaS(软件即服务，Software-as-a-Service)化的服务中通常一些大客户所产生的日志量显著高于其他用户，因此造成共享日志库中数据分布不均匀，从而影响日志库中各类别日志的查询性能。

发明内容

本申请提供一种存储日志的方法，以解决现有独立的日志库的成本高、以及共享日志库中数据分布不均匀的问题。本申请另外提供一种存储日志的装置、一种计算机可读取存储介质以及一种电子设备。本申请还提供一种数据处理方法。

本申请提供一种存储日志的方法，该方法包括：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，所述将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，包括：

将新获取的所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，还包括：

将新获取的所述目标类别的日志存储至所述第一日志库中；

若所述第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中。

可选的，所述将新获取的所述目标类别的日志存储至所述第二日志库中，包括：

确定用于定位到所述第二日志库的定位信息；

根据所述定位信息将所述新获取的所述目标类别的日志存储到所述第二日志库。

可选的，还包括：

将存储在所述第一日志库中的目标类别的日志存储至所述第二日志库中。

可选的，所述确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

确定第一日志库中目标类别的日志的数据量达到或超过日志数据量阈值；

或者，

确定第一日志库中目标类别的日志的数量达到或超过日志数量阈值；

或者，

确定第一日志库中目标类别的日志的数据量与第一日志库中所有类别日志的数据量的比值达到或超过日志数据量比值；

或者，

确定第一日志库中目标类别的日志占用的存储空间大小与第一日志库的存储空间大小的比值达到或超过存储空间比值。

可选的，还包括：

从原始日志数据中收集所述目标类别的日志；

根据所述目标类别的日志的属性信息，选取与所述属性信息相对应的第一日志库，并将所述目标类别的日志写入所述第一日志库中。

可选的，所述目标类别的日志，按如下类别中的至少一种进行划分：

日志源对应的网络ID；

日志源所处的地域；

日志产生的时间；

网站域名；

电商网站中的店铺信息。

可选的，还包括：

统计所述目标类别的日志的存储状况。

可选的，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

定时检测所述第一日志库中目标类别的日志的存储状况是否达到或超过预定阈值，若检测结果为是，则启动报警。

可选的，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

实时监控所述第一日志库中的目标类别的日志的存储状况是否达到预定阈值，若监控结果为是，则启动报警。

可选的，还包括：

创建专用于存储属于所述目标类别的日志的第二日志库。

本申请还提供一种存储日志的装置，该装置包括：

存储状况确定单元，用于确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库能够存储至少两个类别的日志；

日志存储单元，用于将属于所述目标类别的日志存储至专用于存储属于所述目标类别的日志的第二日志库中。

本申请还提供一种电子设备，包括：

处理器；

存储器，存储用于存储日志的处理程序，所述程序在被所述处理器读取执行时，执行如下操作：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库能够存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

本申请还提供一种计算机可读取存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

本申请还提供一种数据处理方法，该方法包括：

获取第一数据库中第一类数据存储量，其中，所述第一数据库存储至少两类数据；

确定所述第一类数据存储量达到预设条件；

将所述第一类数据转储到专用于存储所述第一类数据的第二数据库。

可选的，所述将所述第一类数据转储到专用于存储所述第一类数据的第二数据库，包括：

将新获取的所述第一类数据存储至专用于存储所述第一类数据的第二数据库中。

可选的，还包括：

将新获取的所述第一类数据存储至所述第一数据库中；

若所述第二数据库中存储第一类数据的时长达到或超过第一类数据的最大保存时长，则只将新获取的所述第一类数据存储至所述第二数据库中。

与现有技术相比，本申请具有以下优点：

本申请提供的存储日志的方法，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，第一日志库存储至少两个类别的日志；将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。通过使用该方法，可根据日志的存储状况对日志的存储方式进行调整，避免对各类别的日志分别使用独立的日志库造成的成本高、以及避免将多类别的日志存储至共享日志库中造成数据分布不均匀。

进一步的，将新获取的目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，可在第一日志库中保留已有日志，将新获取的日志转存于独立的日志库中，实现日志库存储空间的合理利用。

进一步的，将新获取的目标类别的日志存储于第二日志库中，并且将新获取的日志存储于第一日志库中，直至第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中，可在将新获取的目标类别的日志转存至第二日志库的过程中，避免因第二数据库中的数据不完整而无法对新获取的目标类别的日志进行读取、查询等操作。

附图说明

图1是本申请第一实施例提供的方法流程图；

图2是本申请第二实施例提供的装置的单元框图；

图3是本申请第三实施例提供的电子设备示意图；

图4是本申请第五实施例提供的系统示意图；

图5是本申请第六实施例提供的方法流程图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

本申请提供一种存储日志的方法、一种存储日志的装置、一种计算机可读取存储介质以及一种电子设备。以下提供实施例对所述方法、装置、计算机可读取存储介质以及电子设备进行详细说明。

本申请第一实施例提供一种存储日志的方法。日志是日志源(例如网络设备、系统及服务程序等)在运行时产生的名为log的事件记录，是日志源运行时产生的数据的集合。根据系统开启的服务种类的不同，可分为多种日志，如应用程序日志，安全日志、系统日志、服务日志、文件传输日志、网络日志、服务器日志等。每一行日志都记载有时间、使用者及操作事项等相关操作的描述信息，例如，对系统进行IPC(进程间通信，Inter-ProcessCommunication)探测，系统就会在安全日志里迅速地记下探测者探测时所用的IP(网络之间互联的协议，Internet Protocol)协议、时间、探测时所用的用户名等；或者用FTP(文件传输协议，File Transfer Protocol)文件传输协议对系统进行探测，系统就会在文件传输日志中记下探测者探测时所用的IP协议、时间、探测时所用的用户名等。日志记录了日志源的生命周期，通过查阅与分析日志，可以获知日志源在某个时刻所处的状态以及在生命周期内其对应的操作内容。

本实施例提供的方法可适用于对多类别的大批量日志进行动态存储，根据日志的存储状况动态调整日志的存储策略。例如在SaaS(Software as a Service，软件及服务)的多租户模式下，可用于对多个用户所产生的日志进行动态存储。

如图1所示，本实施例提供的方法包括如下步骤：

S101：确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值。

本申请中，在对多类别的日志进行存储时，所有日志首先被存储至第一日志库中。本步骤的作用在于确定该第一日志库中的目标类别的日志的存储状况满足预定条件、即达到或超过预设的存储阈值。

所述日志库可为单独的数据库、也可为在普通机器上搭建的ES集群、或者为云服务中资源独立的日志存储服务器或日志搜索服务器。所述第一日志库也称为共享日志库，指的是可供不同类别的日志进行存储的日志库，其存储至少两种类别的日志。

日志可根据日志的功能、日志源、应用场景、对应的用户ID、产生时间等条件的不同进行划分，从而产生不同类别的日志。所述目标类别的日志，指的是目前应用场景下需要对其存储状况进行监控或分析的特定类别的日志。对于与网络相关的业务日志可根据网站域名进行划分，对于与电子商务相关的业务日志可根据店铺信息进行划分，对于与网络传输相关的业务日志可根据IP地址进行划分。本实施例中，所述目标类别的日志，可按如下类别中的至少一种进行划分：日志源对应的网络ID；日志源所处的地域；日志产生的时间；网站域名；电商网站中的店铺信息等。

所述存储阈值指的是对所述第一日志库中的目标类别的日志所预设的边界值，其可为具体的日志的数据量的值，也可为单位时间内所存储的日志的数量，或者为某一类别日志的数据量占该第一日志库中所有日志的总的数据量的比值、或者为日志所占用的存储空间的比值等。在设定上述存储阈值时，可针对每一类别的日志分别设置其对应的存储阈值，也可仅对特定某一类别的日志设置其对应的存储阈值，还可对第一日志库中的所有类别的日志统一设置相同的存储阈值。例如，在SaaS(软件即服务)模式下，可将部分有可能产生大量日志的用户作为设置存储阈值的目标，也可对所有用户设定统一的或者差异化的存储阈值。

本实施例中，所述第一日志库中目标类别的日志通过如下方式进行存储：

首先，从原始日志数据中收集所述目标类别的日志。原始日志数据指的是日志源在运行时所生成的未经存储、整理、分类的初始日志数据。

其次，根据该目标类别的日志的属性信息，选取与该属性信息相对应的第一日志库，并将所述目标类别的日志写入所述第一日志库中。每个类别的日志均可设置其对应的属性信息，该属性信息可对应日志源的地域信息、用户ID等。本实施例中，所述共享数据库是统一进行创建的，具体为固定创建一定数量的、具有相同存储空间的日志库，并为每个日志库进行编号，具有相同属性信息的日志被存储至一个第一日志库中。例如，在SaaS模式中，为用户日志确定第一日志库的实现方式可以为：根据用户ID的哈希值以日志库的数量进行取模，得出的结果就是用于对该用户所对应的日志进行存储的日志库的位置。

需要说明的是，在上述将日志写入第一日志库的过程中，还需对所述目标类别的日志的存储状况进行统计，例如对该目标类别的日志的数量、数据量、数据量占总的数据量的比值、或者该目标类别的日志所占用的存储空间的比值中的至少一种进行统计，统计所得的结果可作为后续步骤的基础数据。

本实施例中，所述确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，可包含如下四种模式中的一种：

模式一：确定第一日志库中目标类别的日志的数据量达到或超过日志数据量阈值；例如，在SaaS模式的多租户服务中，将某个大客户所产生的日志作为目标类别的日志，其对应的存储阈值为日志数据量阈值。日志的数据量为该类别的日志的实际数据大小，如1GB。

模式二：确定第一日志库中目标类别的日志的数量达到或超过日志数量阈值；例如，对目标类别的日志所设定的日志数量阈值为1000条/秒，如果统计周期中所存储的日志的数量大于或等于1000条/秒，则可确定第一日志库中目标类别的日志的数量达到或超过日志数量阈值。

模式三：确定第一日志库中目标类别的日志的数据量与第一日志库中所有类别日志的数据量的比值达到或超过日志数据量比值；例如，第一日志库中预设的日志数据量比值为30％，如果所述第一日志库中目标类别的数据量与第一日志库中所有类别日志的数据量的比值达到或超过30％，则可确定上述内容。

模式四：确定第一日志库中目标类别的日志占用的存储空间大小与第一日志库的存储空间大小的比值达到或超过存储空间比值；例如，预定的第一日志库中的存储空间比值为30％，第一日志库的存储空间为1GB，目标类别的日志已占用的存储空间为500MB，其比值为50％，因此可确定目标类别的日志占用的存储空间大小与第一日志库的存储空间大小的比值超过存储空间比值。

本实施例中，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值的方式，可通过定时检测或者实时监测的方式实现，具体为：定时检测所述第一日志库中目标类别的日志的存储状况是否达到或超过预定阈值，例如，每隔10分钟定时对目标类别的日志的存储状况进行检测，若检测结果为是，则启动报警；或者实时监控所述第一日志库中的目标类别的日志的存储状况是否达到预定阈值，例如采用实时监听程序对目标类别的日志的存储状况进行实时监测，一旦目标类别的日志的存储状况达到预定的存储阈值，则启动报警。

S102：将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

在通过上述步骤确定出第一日志库中目标类别的日志的存储状况达到或超过存储阈值之后，本步骤用于将属于所述目标类别的日志存储至第二日志库中。

所述第二日志库也称为独享日志库，其专用于存储属于所述目标类别的日志。上述第一日志库中的每一类别的日志可分别对应一个第二日志库，该第二日志库可预先进行创建，在达到使用条件时予以激活和使用，也可在需要使用时进行实时创建。本实施例中，所述第二日志库对应于所述目标类别的日志进行实时创建，当通过定时检测或者实时监测的方式确定出第一日志库中目标类别的日志的存储状况达到或超过存储阈值，则针对该目标类别的日志创建第二日志库。

本实施例中，将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，指的是将新获取的所述目标类别的日志存储至所述第二日志库中，以此实现将目标类别的日志从第一日志库切换到第二日志库的目的。例如，在SaaS模式中，针对某个大客户创建第二日志库，并在满足上述步骤S101的条件之后，将该大客户新生成的日志存储至该第二日志库中。所述将新获取的所述目标类别的日志存储至所述第二日志库中，具体包括：确定用于定位到所述第二日志库的定位信息，该定位信息为能够用于定位到某一个日志库所需要的信息，包括日志库的访问地址、日志库名称等；并且根据该定位信息将新获取的目标类别的日志存储到第二日志库中。

由于短时间内第二日志库中的日志数据不完整，无法满足用户对目标类别的日志数据的查询请求，因此，在将目标类别的日志从第一日志库切换到第二日志库中时，还需将新获取的目标类别的日志存储至第一日志库中，以满足在该切换过程中可在共享数据库中对该目标类别的日志进行查询。当所述第二日志库中存储日志的时长达到或超过日志的最大保存时长时，则停止向第一日志库中存储该目标类别的日志，只将新获取的所述目标类别的日志存储至第二日志库中，并且开始在第二日志库中对该目标类别的日志进行查询。不同类别的日志对应不同的最大保存时长，该最大保存时长根据日志的重要性等级进行设置，对于重要性等级较高的日志，其对应的保存时长一般较长。

需要说明的是，在将新获取的目标类别的日志存储至第一日志库的基础上，除了上述将新获取的目标类别的日志存储至第一日志库中之外，还可将原本存储在第一日志库中的目标类别的日志存储至第二日志库中，该种方式依靠数据复制或数据移动，直接将目标类别的日志从第一日志库切换到第二日志库中，从而实现直接在第二日志库中对该目标类别的日志进行查询。

本实施例提供的上述方法，当目标类别的日志的数量、或数据量、或数据量占第一日志库中的总数据量的比值、或者该目标类别的日志所占用的存储空间的比值未达到预定的存储阈值时，将该目标类别的日志存储至第一日志库中，可实现多类别的日志对同一日志库的资源的共享，节省资源开销；当目标类别的日志的数量、或数据量、或数据量占第一日志库中的总数据量的比值、或者该目标类别的日志所占用的存储空间的比值达到或超过预定的存储阈值时，将该目标类别的日志存储至第二日志库中，避免该目标类别的日志量过大而造成第一日志库中的数据分布不均匀，从而避免影响该目标类别的日志以及日志库中其它各类别日志的查询性能。上述方法根据第一日志库中的目标类别的日志的存储状况灵活调整其存储方式，可实现日志的科学化存储，节省日志存储过程中的资源消耗，并且保障日志的查询性能。

进一步的，将新获取的目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，可在第一日志库中保留已有日志，将新获取的日志转存于独立的日志库中，实现日志库存储空间的合理利用。

进一步的，将新获取的目标类别的日志存储于第二日志库中，并且将新获取的日志存储于第一日志库中，直至第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中，可在将新获取的目标类别的日志转存至第二日志库的过程中，避免因第二数据库中的数据不完整而无法对新获取的目标类别的日志进行读取、查询等操作。

上述第一实施例提供了一种存储日志的方法，与之相对应的，本申请第二实施例还提供了一种存储日志的装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。

请参考图2理解该实施例，图2为本实施例提供的装置的单元框图，如图2所示，所述装置包括：

存储状况确定单元201，用于确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库存储至少两个类别的日志；

日志存储单元202，用于将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

可选的，所述日志存储单元202具体用于：

将新获取的所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

可选的，所述装置还包括：

新获取的日志存储至第一日志库单元，用于将新获取的所述目标类别的日志存储至所述第一日志库中；

新获取的日志存储至第二日志库单元，用于若所述第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中。

可选的，所述装置还包括：第一日志库中的日志存储单元，用于将存储在所述第一日志库中的目标类别的日志存储至所述第二日志库中。

可选的，所述日志存储单元202包括：

定位信息确定子单元，用于确定用于定位到所述第二日志库的定位信息；

存储子单元，用于根据所述定位信息将所述新获取的所述目标种类的日志存储到所述第二日志库。

可选的，所述存储状况确定单元201具体用于：

确定第一日志库中目标类别的日志的数据量达到或超过日志数据量阈值；

或者，

确定第一日志库中目标类别的日志的数量达到或超过日志数量阈值；

或者，

确定第一日志库中目标类别的日志的数据量与第一日志库中所有类别日志的数据量的比值达到或超过日志数据量比值；

或者，

确定第一日志库中目标类别的日志占用的存储空间大小与第一日志库的存储空间大小的比值达到或超过存储空间比值。

可选的，所述装置还包括：

日志收集单元，用于从原始日志数据中收集所述目标类别的日志；

日志写入单元，用于根据所述目标类别的日志的属性信息，选取与所述属性信息相对应的第一日志库，并将所述目标类别的日志写入所述第一日志库中。

可选的，所述目标类别的日志，按如下类别中的至少一种进行划分：

日志源对应的网络ID；

日志源所处的地域；

日志产生的时间；

网站域名；

电商网站中的店铺信息。

可选的，所述装置还包括：

日志存储状况统计单元，用于统计所述目标类别的日志的存储状况。

可选的，存储状况确定单元201具体用于：

定时检测所述第一日志库中目标类别的日志的存储状况是否达到或超过预定阈值，若检测结果为是，则启动报警。

可选的，存储状况确定单元201具体用于：

实时监控所述第一日志库中的目标类别的日志的存储状况是否达到预定阈值，若监控结果为是，则启动报警。

可选的，所述装置还包括：

第二日志库创建单元，用于创建专用于存储属于所述目标类别的日志的第二日志库。

在上述的实施例中，提供了一种存储日志的方法以及一种存储日志的装置，此外，本申请第三实施例还提供了一种电子设备，该电子设备实施例如下：

请参考图3，其示出了本实施例提供的电子设备的示意图。

所述电子设备，包括：处理器301；存储器302；

所述存储器302，存储用于存储日志的程序，所述程序在被所述处理器读取执行时，执行如下操作：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

例如，所述电子设备为一台计算机，所述计算机可确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，所述将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，包括：

将新获取的所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，还包括：

将新获取的所述目标类别的日志存储至所述第一日志库中；

若所述第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中。

可选的，所述将新获取的所述目标类别的日志存储至所述第二日志库中，包括：

确定用于定位到所述第二日志库的定位信息；

根据所述定位信息将所述新获取的所述目标类别的日志存储到所述第二日志库。

可选的，还包括：

将存储在所述第一日志库中的目标类别的日志存储至所述第二日志库中。

可选的，所述确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

确定第一日志库中目标类别的日志的数据量达到或超过日志数据量阈值；

或者，

确定第一日志库中目标类别的日志的数量达到或超过日志数量阈值；

或者，

确定第一日志库中目标类别的日志的数据量与第一日志库中所有类别日志的数据量的比值达到或超过日志数据量比值；

或者，

确定第一日志库中目标类别的日志占用的存储空间大小与第一日志库的存储空间大小的比值达到或超过存储空间比值。

可选的，还包括：

从原始日志数据中收集所述目标类别的日志；

根据所述目标类别的日志的属性信息，选取与所述属性信息相对应的第一日志库，并将所述目标类别的日志写入所述第一日志库中。

可选的，所述目标类别的日志，按如下类别中的至少一种进行划分：

日志源对应的网络ID；

日志源所处的地域；

日志产生的时间；

网站域名；

电商网站中的店铺信息。

可选的，还包括：

统计所述目标类别的日志的存储状况。

可选的，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

定时检测所述第一日志库中目标类别的日志的存储状况是否达到或超过预定阈值，若检测结果为是，则启动报警。

可选的，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

实时监控所述第一日志库中的目标类别的日志的存储状况是否达到预定阈值，若监控结果为是，则启动报警。

可选的，还包括：

创建专用于存储属于所述目标类别的日志的第二日志库。

在上述的实施例中，提供了一种存储日志的方法、装置以及电子设备，与之相对应的，本申请第四实施例还提供了一种用于实现存储日志的计算机可读取存储介质。本申请提供的计算机可读取存储介质实施例描述得比较简单，相关部分请参见上述方法实施例的对应说明即可。下述描述的实施例仅仅是示意性的。

本实施例提供一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，所述将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，包括：

将新获取的所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，还包括：

将新获取的所述目标类别的日志存储至所述第一日志库中；

若所述第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中。

可选的，所述将新获取的所述目标类别的日志存储至所述第二日志库中，包括：

确定用于定位到所述第二日志库的定位信息；

根据所述定位信息将所述新获取的所述目标类别的日志存储到所述第二日志库。

可选的，还包括：

将存储在所述第一日志库中的目标类别的日志存储至所述第二日志库中。

可选的，所述确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

确定第一日志库中目标类别的日志的数据量达到或超过日志数据量阈值；

或者，

确定第一日志库中目标类别的日志的数量达到或超过日志数量阈值；

或者，

确定第一日志库中目标类别的日志的数据量与第一日志库中所有类别日志的数据量的比值达到或超过日志数据量比值；

或者，

确定第一日志库中目标类别的日志占用的存储空间大小与第一日志库的存储空间大小的比值达到或超过存储空间比值。

可选的，还包括：

从原始日志数据中收集所述目标类别的日志；

根据所述目标类别的日志的属性信息，选取与所述属性信息相对应的第一日志库，并将所述目标类别的日志写入所述第一日志库中。

可选的，所述目标类别的日志，按如下类别中的至少一种进行划分：

日志源对应的网络ID；

日志源所处的地域；

日志产生的时间；

网站域名；

电商网站中的店铺信息。

可选的，还包括：

统计所述目标类别的日志的存储状况。

可选的，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

定时检测所述第一日志库中目标类别的日志的存储状况是否达到或超过预定阈值，若检测结果为是，则启动报警。

可选的，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

实时监控所述第一日志库中的目标类别的日志的存储状况是否达到预定阈值，若监控结果为是，则启动报警。

可选的，还包括：

创建专用于存储属于所述目标类别的日志的第二日志库。

本申请第五实施例提供一种存储日志的系统，如图4所示，该系统包括：日志收集模块401、日志统计模块402、日志库写入调度模块403、日志存储模块404。

日志收集模块401用于收集日志。

日志统计模块402用于统计日志收集模块401所收集的日志的数量，具体为累加单位时间内单用户日志的数量，并且对外提供统计所得的单用户的日志数量。

日志库写入调度模块403用于检查日志的存储模式，并且创建独享日志库。

检查日志库的存储模式可确定出日志需存储至共享日志库或独享日志库中，如果为共享日志库，则根据用户ID取模选取一个日志库用于存储该日志；如果是独享日志库，则读取用于定位到该独享日志库的定位信息。

创建独享日志库具体包括如下过程：定时触发日志库创建任务；读取日志统计模块402提供的单用户的日志数量；确定单用户的日志数量达到或超过预定阈值；为该单用户创建独立的日志库；写入日志库相关的定位信息。

日志存储模块404用于将上述单用户日志进行存储。如果是多租户共享的日志库空间，则根据用户的ID取模分配到一个日志库；如果是用户独享的日志库空间，则根据用户的ID唯一分配到指定的一个日志库中。

本申请第六实施例提供一种数据处理方法，本实施例与上述第一实施例提供的方法具有相同的技术主题。如图5所示，本实施例提供的方法包括如下步骤：

S501，获取第一数据库中第一类数据的存储量，其中，所述第一数据库存储至少两类数据。

本步骤中的第一数据库可以为上述第一实施例中的第一日志库，第一类数据的存储量可以为上述第一实施例中的目标类别日志的存储状况，例如可以为目标类别的日志的数量、数据量、数据量占第一日志库的比值或者目标类别的日志所占用的存储空间的比值。

获取第一数据库中第一类数据存储量可通过定时检测或者实时监测数据量统计结果的方式实现，具体为：定时检测第一数据库中的第一类数据的存储量，例如，每隔10分钟定时对第一数据库中的第一类数据的存储量进行检测，获得检测结果；或者实时对第一数据库中的第一类数据的存储量的统计结果进行监控。

S502，确定所述第一类数据的存储量达到预设条件。

上述步骤获取第一数据库中第一数据库中的第一类数据的存储量之后，本步骤用于确定所述第一类数据的存储量达到预设条件。

本步骤中的预设条件指的是第一数据库中针对第一类数据所设置的存储阈值。可参考上述第一实施例中的步骤S101理解本步骤，在此不再赘述。

S503，将所述第一类数据转储到专用于存储所述第一类数据的第二数据库。

本步骤用于在确定第一类数据的存储量达到预设条件之后，将第一类数据转储到专用于存储第一类数据的第二数据库。

优选的，上述转储的过程可以为：将新获取的第一类数据存储至专用于存储第一类数据的第二数据库中。

在将第一类数据转储到第二数据库中的过程中，第二数据库中的第一类数据并不完整，无法针对第一类数据进行数据查询、数据读取等操作，因而在本实施例中，在将新获取的第一类数据存储至第二数据库中的同时，还需将新获取的第一类数据存储至所述第一数据库中，直至所述第二数据库中存储第一类数据的时长达到或超过第一类数据的最大保存时长，则只将新获取的所述第一类数据存储至所述第二数据库中。通过这种方式可实现在第一数据库中对新获取的第一类数据进行数据查询、数据读取等操作。

本步骤中的第二数据库可以为上述第一实施例中的第二日志库，有关本步骤的详细说明可参考上述实施例的步骤S102，在此不再赘述。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (18)

1.一种存储日志的方法，其特征在于，包括：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，为所述目标类别的日志创建第二日志库；其中，所述第一日志库存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的所述第二日志库中，其中，所述第二日志库对应于所述目标类别的日志进行实时创建。

2.根据权利要求1所述的存储日志的方法，其特征在于，所述将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，包括：

将新获取的所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

3.根据权利要求2所述的存储日志的方法，其特征在于，还包括：

将新获取的所述目标类别的日志存储至所述第一日志库中；

若所述第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中。

4.根据权利要求2所述的存储日志的方法，其特征在于，所述将新获取的所述目标类别的日志存储至所述第二日志库中，包括：

确定用于定位到所述第二日志库的定位信息；

根据所述定位信息将所述新获取的所述目标类别的日志存储到所述第二日志库。

5.根据权利要求2所述的存储日志的方法，其特征在于，还包括：

将存储在所述第一日志库中的目标类别的日志存储至所述第二日志库中。

6.根据权利要求1所述的存储日志的方法，其特征在于，所述确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

确定第一日志库中目标类别的日志的数据量达到或超过日志数据量阈值；

或者，

确定第一日志库中目标类别的日志的数量达到或超过日志数量阈值；

或者，

确定第一日志库中目标类别的日志的数据量与第一日志库中所有类别日志的数据量的比值达到或超过日志数据量比值；

或者，

确定第一日志库中目标类别的日志占用的存储空间大小与第一日志库的存储空间大小的比值达到或超过存储空间比值。

7.根据权利要求1所述的存储日志的方法，其特征在于，还包括：

从原始日志数据中收集所述目标类别的日志；

根据所述目标类别的日志的属性信息，选取与所述属性信息相对应的第一日志库，并将所述目标类别的日志写入所述第一日志库中。

8.根据权利要求1所述的存储日志的方法，其特征在于，所述目标类别的日志，按如下类别中的至少一种进行划分：

日志源对应的网络ID；

日志源所处的地域；

日志产生的时间；

网站域名；

电商网站中的店铺信息。

9.根据权利要求1所述的存储日志的方法，其特征在于，还包括：

统计所述目标类别的日志的存储状况。

10.根据权利要求1所述的存储日志的方法，其特征在于，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

定时检测所述第一日志库中目标类别的日志的存储状况是否达到或超过预定阈值，若检测结果为是，则启动报警。

11.根据权利要求1所述的存储日志的方法，其特征在于，确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，包括：

实时监控所述第一日志库中的目标类别的日志的存储状况是否达到预定阈值，若监控结果为是，则启动报警。

12.根据权利要求10或11所述的存储日志的方法，其特征在于，还包括：

创建专用于存储属于所述目标类别的日志的第二日志库。

13.一种存储日志的装置，其特征在于，包括：

存储状况确定单元，用于确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，为所述目标类别的日志创建第二日志库；其中，所述第一日志库能够存储至少两个类别的日志；

日志存储单元，用于将属于所述目标类别的日志存储至专用于存储属于所述目标类别的日志的所述第二日志库中。

14.一种电子设备，其特征在于，包括：

处理器；

存储器，存储用于存储日志的处理程序，所述程序在被所述处理器读取执行时，执行如下操作：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，为所述目标类别的日志创建第二日志库；其中，所述第一日志库能够存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的所述第二日志库中。

15.一种计算机可读取存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，为所述目标类别的日志创建第二日志库；其中，所述第一日志库能够存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的所述第二日志库中。

16.一种数据处理方法，其特征在于，包括：

获取第一数据库中第一类数据的存储量，其中，所述第一数据库存储至少两类数据；

确定所述第一类数据的存储量达到预设条件，为所述第一类数据创建第二数据库；

将所述第一类数据转储到专用于存储所述第一类数据的第二数据库。

17.根据权利要求16所述的数据处理方法，其特征在于，所述将所述第一类数据转储到专用于存储所述第一类数据的第二数据库，包括：

将新获取的所述第一类数据存储至专用于存储所述第一类数据的第二数据库中。

18.根据权利要求17所述的数据处理方法，其特征在于，还包括：

将新获取的所述第一类数据存储至所述第一数据库中；

若所述第二数据库中存储第一类数据的时长达到或超过第一类数据的最大保存时长，则只将新获取的所述第一类数据存储至所述第二数据库中。

Images