CN108829730A - 一种对日志数据进行存储的方法、装置及其可读存储介质 - Google Patents

Abstract

本发明涉及电子信息技术领域，具体涉及一种对日志数据进行存储的方法、装置及其可读存储介质，其方法包括：将日志内容拆分为若干段日志数据；将所述日志数据逐一写入本地的缓存器中，并判断所述缓存器中的缓存值是否达到预定值，若达到预定值，则将缓存器中所存储的日志数据批量写入数据库中。本发明先将日志的内容进行缓存，并在缓存的数量达到预定值后，再批量地将日志数据的内容写入到数据库中，其写入效率较高，且其有效地减少与数据库的连接，有效地减少了对数据库连接数的占用，有效地提高数据库的写入能力。

Description

一种对日志数据进行存储的方法、装置及其可读存储介质

技术领域

本发明涉及电子信息技术领域，具体涉及一种对日志数据进行存储的方法、一种日志数据进行存储的装置以及一种存储有可执行上述日志数据进行存储的方法的计算机可读存储介质。

背景技术

随着移动通讯技术的快速发展，手机软件(APP)等的功能越来越强大，其所处理的数据量也越来越多；当用户在手机软件中每进行一次操作，软件中均会自动生成操作日志，并会将该操作日志写入至数据库中，以进行对日志进行存储。

而在现有的技术中，日志的内容中的每个条目均需要逐条写入到数据库中，其写入效率较低，并且其需要长时间与数据库进行连接，其占用数据库的连接数较多，容易造成数据库的连接数不足，而导致其他数据无法及时写入到数据库中，对数据库的写入能力有较大的影响。

发明内容

为克服上述缺陷，本发明的目的即在于提供一种对日志数据进行批量存储的方法及其、装置及其可读存储介质。

本发明的目的是通过以下技术方案来实现的：

本发明是一种对日志数据进行存储的方法，包括：

将日志内容拆分为若干段日志数据；

将所述日志数据逐一写入本地的缓存器中，并判断所述缓存器中的缓存值是否达到预定值，若达到预定值，则将缓存器中所存储的日志数据批量写入数据库中。

在本发明中，所述将日志内容拆分为若干段日志数据之前包括：

对缓存器中的预定值进行设定，所述预定值包括：存储时间值、存储数量值、存储容量值。

在本发明中，所述判断所述缓存器中的缓存值是否达到预定值还包括：

若未达到预定值，则继续将所述日志数据逐一写入本地的缓存器中。

在本发明中，所述将日志内容拆分为若干段日志数据还包括：

按照拆分的顺序，为每段日志数据添加上序号，并对最大序号值进行记录。

在本发明中，所述将缓存器中所存储的日志数据批量写入数据库中之后包括：

获取当前数据库中的日志内容的序号，并将所获取到的序号与所述最大序号值进行比较，判断所述日志内容是否已完整写入至所述数据库中，若未完整写入至所述数据库中，则获取未写入至所述数据库中的日志数据，并继续将所述日志数据逐一写入本地的缓存器中。

在本发明中，所述将缓存器中所存储的日志数据批量写入数据库中之前包括：

检测数据库与缓存器之间的数据连接，并判断数据连接是否正常，若连接正常，则执行将缓存器中所存储的日志数据批量写入数据库中；若连接不正常，则保持检测数据库与缓存器之间的数据连接。

本发明是一种对日志数据进行存储的装置，包括：

日志拆分模块，所述日志拆分模块用于将日志内容拆分为若干段日志数据；

缓存器写入模块，所述缓存器写入模块与所述日志拆分模块相连接，用于将将所述日志数据逐一写入缓存器中；

缓存器，所述缓存器与所述缓存器写入模块相连接，用于对所写入的日志数据进行缓存，并判断所述日志数据的缓存值是否达到预定值，若达到预定值，则将缓存器中所存储的日志数据批量写入数据库中；

数据库，所述数据库与所述缓存器相连接，用于对缓存器所写入的日志数据进行存储。

在本发明中，所述缓存器上连接有缓存值设定模块，所述缓存值设定模块用于对缓存器中的预定值进行设定，所述预定值包括：存储时间值、存储数量值、存储容量值；

所述日志拆分模块上连接有：

序号添加单元，所述序号添加单元用于按照拆分的顺序，为每段日志数据添加上序号，并对最大序号值进行记录。

在本发明中，所述装置还包括：校验模块，所述校验模块分别与所述数据库和序号添加单元相连接，用于获取当前数据库中的日志内容的序号，并将所获取到的序号与所述最大序号值进行比较，判断所述日志内容是否已完整写入至所述数据库中，若未完整写入至所述数据库中，则获取未写入至所述数据库中的日志数据，并继续将所述日志数据逐一写入本地的缓存器中。

本发明是一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的对日志数据进行存储的方法。

本发明先将日志的内容进行缓存，并在缓存的数量达到预定值后，再批量地将日志数据的内容写入到数据库中，其写入效率较高，且其有效地减少与数据库的连接，有效地减少了对数据库连接数的占用，有效地提高数据库的写入能力。

附图说明

为了易于说明，本发明由下述的较佳实施例及附图作详细描述。

图1为本发明方法一个实施例的工作流程示意图；

图2为本发明方法另一个实施例的工作流程示意图；

图3为本发明装置的一个实施例的逻辑结构示意图；

图4为本发明装置的另一个实施例的逻辑结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面以一个实施例对本发明的一种对日志数据进行存储的方法进行具体描述，请参阅图1，其包括：

S101.拆分日志内容

将日志内容拆分为若干段日志数据；其可以按照日志内容的总容量，将日志内容拆分为若干段相同容量的日志数据，如：将一份总容量为99K日志内容按顺序拆分成九段日志数据，每段日志数据的容量为11K，或将其分为容量不等的日志数据，如将总容量的99K的日志内容拆分为十段，前九段每份容量为10K，最后一段的容量为9K；在本发明中，其具体的拆分方式除了按容量进行划分外，还可以按字数等进行划分，此处将不作具体限定。

S102.将日志数据写入缓存器

将所述日志数据逐一写入本地的缓存器中，如日志数据被拆分为九段日志数据，则依次将日志数据写入本地的缓存器中，且每次只写入一段日志数据。

S103.判断是否达到预定值

在将一段日志数据写入缓存器后，则判断所述缓存器中的缓存值是否达到预定值，若达到预定值，则进行步骤S104.将日志数据批量写入数据库；

S104.将日志数据批量写入数据库

将所有存储于缓存器中的日志数据批量写入数据库中；若当前的缓存器中存储有三段日志数据，则将该三段日志数据同时写入至数据库中。

为了便于理解，下面以另一个实施例对本发明的一种对日志数据进行存储的方法进行具体描述，请参阅图2，其包括：

S201.对预定值进行设定

对缓存器中的预定值进行设定，所述预定值包括：存储时间值、存储数量值、存储容量值；在本实施例中，可单独对存储时间值、存储数量值、存储容量值中的任一值进行设置，也可以对上述三个数值进行同时设置；如：将存储时间值设为10S、存储数量值设为10条、存储容量值设为10M等。其中，该存储时间值为缓存器第一次写入日志数据的时刻与缓存器向数据库写入日志数据的时刻之间的最大等待时间，该存储数量值为缓存器可容纳的日志数据的数量，该存储容量为缓存器可容纳的日志数据的容量大小。

S202.拆分日志内容

将日志内容拆分为若干段日志数据；并按照拆分的顺序，为每段日志数据添加上序号，并对最大序号值进行记录。其具体可以按照日志内容的总容量，将日志内容拆分为若干段相同容量的日志数据，如：将一份总容量为99K日志内容按顺序拆分成九段日志数据，每段日志数据的容量为11K，并按拆分的顺序为每段日志数据添加上序号，如第一段的序号为：1，最后一段的序号为：9，记录其最大序号值为9。或将其分为容量不等的日志数据，如将总容量的99K的日志内容拆分为十段，前九段每份容量为10K，最后一段的容量为9K，并按拆分的顺序为每段日志数据添加上序号，如第一段的序号为：1，最后一段的序号为：10，记录其最大序号值为10。在本发明中，其具体的拆分方式除了按容量进行划分外，还可以按字数等进行划分，此处将不作具体限定。

S203.将日志数据写入缓存器

按照日志数据序号的大小，按顺序将所述日志数据逐一写入本地的缓存器中，如日志数据被拆分为九段日志数据，则按照日志数据的序号，以由小到大的顺序依次将日志数据写入本地的缓存器中，且每次只写入一段日志数据。

S204.判断是否达到预定值

在将一段日志数据写入缓存器后，则判断所述缓存器中的缓存值是否达到预定值，若达到预定值，则执行步骤S205.检测数据连接状态；若未达到预定值，则继续进行步骤S203.将日志数据写入缓存器。如在步骤S201.对预定值进行设定中，仅对存储时间值、存储数量值、存储容量值中的任一值进行设置，则其只对缓存器中与被设定的预定值相对应的缓存值进行判断，如：在步骤S201中，将存储容量值设为10M，则当其检测到缓存器中所存储的日志数据的总容量达到10M时，其将执行骤S205；如在步骤S201.对预定值进行设定中，对存储时间值、存储数量值、存储容量值中的两个或以上的预定值进行设定，侧其同时对缓存器中所有与被设定的预定值相对应的缓存值进行判断，并以先达到条件的为准；如：在步骤S201中，将存储时间值设为10S、存储数量值设为10条、存储容量值设为10M，同时对存储时间值、存储数量值、存储容量值这三个值进行监测，若其中的一个值满足上述的条件，则执行步骤S205。

S205.检测数据连接状态

检测数据库与缓存器之间的数据连接。

S206.判断数据连接是否正常

判断数据连接是否正常，若连接正常，则执行步骤S207.将日志数据批量写入数据库；若连接不正常，则执行步骤S205.检测数据连接状态，保持对数据连接状态的检测，当数据连接状态恢复正常时，将执行步骤S207。

S207.将日志数据批量写入数据库

将所有存储于缓存器中的日志数据批量写入数据库中；若当前的缓存器中存储有三段日志数据，则将该三段日志数据同时写入至数据库中。

S208.判断日志内容是否完整写入

获取当前数据库中的日志内容的序号，并将所获取到的序号与所述最大序号值进行比较，判断所述日志内容是否已完整写入至所述数据库中，若未完整写入至所述数据库中，则执行步骤S209.获取未写入的日志数据；如果所检测到的最大序号值为9，而当前数据库中仅有序号为1、2、3的三段日志数据，则表明日志数据未完整写入；若已完整写入至所述数据库中，如所检测到的最大序号值为9，而当前数据库中有序号为1、2、3、4、5、6、7、8、9的九段日志数据，其序号与最大序号值相匹配，表明日志数据已完整写入，则结束流程。

S209.获取未写入的日志数据

获取未写入至所述数据库中的日志数据，如当前数据库中仅有序号为1、2、3的三段日志数据，则根据最大序号值为9，获取未写入至所述数据库中的日志数据的序号为：4、5、6、7、8、9，并继续执行S203.将日志数据写入缓存器，将序号为：4、5、6、7、8、9的日志数据写入依次缓存器中，若一次不能将所有剩余的日志数据写入缓存器中，可采用多次循环的方式，直到所有的日志数据均已写入到数据库为止。

本发明还可以是一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的对日志数据进行存储的方法。例如，本实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行上述方法流程所示的方法的程序代码。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

下面以一个实施例对本发明是一种对日志数据进行存储的装置进行具体描述，请参阅图3，其包括：

日志拆分模块301，所述日志拆分模块301用于将日志内容拆分为若干段日志数据；如：将一份总容量为99K日志内容按顺序拆分成九段日志数据，每段日志数据的容量为11K，或将其分为容量不等的日志数据，如将总容量的99K的日志内容拆分为十段，前九段每份容量为10K，最后一段的容量为9K；在本发明中，其具体的拆分方式除了按容量进行划分外，还可以按字数等进行划分，此处将不作具体限定；

缓存器写入模块302，所述缓存器写入模块302与所述日志拆分模块301相连接，用于将将所述日志数据逐一写入缓存器中；如日志数据被拆分为九段日志数据，则依次将日志数据写入本地的缓存器中，且每次只写入一段日志数据；

缓存器303，所述缓存器303与所述缓存器写入模块302相连接，用于对所写入的日志数据进行缓存，并判断所述日志数据的缓存值是否达到预定值，若达到预定值，则将缓存器303中所存储的日志数据批量写入数据库中；其根据当前缓存器中的存储时间值、存储数量值、存储容量值，与被设定的存储时间值、存储数量值、存储容量值分别进行比较，并以先达到条件的为准；如：将预定的存储时间值设为10S、存储数量值设为10条、存储容量值设为10M，则同时对缓存其中的存储时间值、存储数量值、存储容量值这三个值进行监测，若其中的一个值满足上述的条件，则将缓存器303中所存储的日志数据批量写入数据库中。

数据库304，所述数据库304与所述缓存器303相连接，用于对缓存器303所写入的日志数据进行存储。

请参阅图4，在本实施例中，所述缓存器303上连接有缓存值设定模块305，所述缓存值设定模块305用于对缓存器303中的预定值进行设定，所述预定值包括：存储时间值、存储数量值、存储容量值。在本实施例中，可单独对存储时间值、存储数量值、存储容量值中的任一值进行设置，也可以对上述三个数值进行同时设置；如：将存储时间值设为10S、存储数量值设为10条、存储容量值设为10M等。其中，该存储时间值为缓存器第一次写入日志数据的时刻与缓存器向数据库写入日志数据的时刻之间的最大等待时间，该存储数量值为缓存器可容纳的日志数据的数量，该存储容量为缓存器可容纳的日志数据的容量大小。

在本实施例中，所述日志拆分模块301上连接有：

序号添加单元307，所述序号添加单元307用于按照拆分的顺序，为每段日志数据添加上序号，并对最大序号值进行记录。

在本实施例中，所述装置还包括：校验模块306，所述校验模块306分别与所述数据库304和序号添加单元307相连接，用于获取当前数据库304中的日志内容的序号，并将所获取到的序号与所述最大序号值进行比较，判断所述日志内容是否已完整写入至所述数据库304中，若未完整写入至所述数据库304中，则获取未写入至所述数据库304中的日志数据，并继续将所述日志数据逐一写入本地的缓存器303中；其有效地保证日志数据完整地写入与数据库中，有效地保证数据的完整性。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对日志数据进行存储的方法，其特征在于，包括：

将日志内容拆分为若干段日志数据；

将所述日志数据逐一写入本地的缓存器中，并判断所述缓存器中的缓存值是否达到预定值，若达到预定值，则将缓存器中所存储的日志数据批量写入数据库中。

2.根据权利要求1所述的对日志数据进行存储的方法，其特征在于，所述将日志内容拆分为若干段日志数据之前包括：

对缓存器中的预定值进行设定，所述预定值包括：存储时间值、存储数量值、存储容量值。

3.根据权利要求2所述的对日志数据进行存储的方法，其特征在于，所述判断所述缓存器中的缓存值是否达到预定值还包括：

若未达到预定值，则继续将所述日志数据逐一写入本地的缓存器中。

4.根据权利要求3所述的对日志数据进行存储的方法，其特征在于，所述将日志内容拆分为若干段日志数据还包括：

按照拆分的顺序，为每段日志数据添加上序号，并对最大序号值进行记录。

5.根据权利要求4所述的对日志数据进行存储的方法，其特征在于，所述将缓存器中所存储的日志数据批量写入数据库中之后包括：

获取当前数据库中的日志内容的序号，并将所获取到的序号与所述最大序号值进行比较，判断所述日志内容是否已完整写入至所述数据库中，若未完整写入至所述数据库中，则获取未写入至所述数据库中的日志数据，并继续将所述日志数据逐一写入本地的缓存器中。

6.根据权利要求5所述的对日志数据进行存储的方法，其特征在于，所述将缓存器中所存储的日志数据批量写入数据库中之前包括：

检测数据库与缓存器之间的数据连接，并判断数据连接是否正常，若连接正常，则执行将缓存器中所存储的日志数据批量写入数据库中；若连接不正常，则保持检测数据库与缓存器之间的数据连接。

7.一种对日志数据进行存储的装置，其特征在于，包括：

日志拆分模块，所述日志拆分模块用于将日志内容拆分为若干段日志数据；

缓存器写入模块，所述缓存器写入模块与所述日志拆分模块相连接，用于将将所述日志数据逐一写入缓存器中；

缓存器，所述缓存器与所述缓存器写入模块相连接，用于对所写入的日志数据进行缓存，并判断所述日志数据的缓存值是否达到预定值，若达到预定值，则将缓存器中所存储的日志数据批量写入数据库中；

数据库，所述数据库与所述缓存器相连接，用于对缓存器所写入的日志数据进行存储。

8.根据权利要求7所述的对日志数据进行存储的装置，其特征在于，所述缓存器上连接有缓存值设定模块，所述缓存值设定模块用于对缓存器中的预定值进行设定，所述预定值包括：存储时间值、存储数量值、存储容量值；

所述日志拆分模块上连接有：

序号添加单元，所述序号添加单元用于按照拆分的顺序，为每段日志数据添加上序号，并对最大序号值进行记录。

9.根据权利要求8所述的对日志数据进行存储的装置，其特征在于，所述装置还包括：校验模块，所述校验模块分别与所述数据库和序号添加单元相连接，用于获取当前数据库中的日志内容的序号，并将所获取到的序号与所述最大序号值进行比较，判断所述日志内容是否已完整写入至所述数据库中，若未完整写入至所述数据库中，则获取未写入至所述数据库中的日志数据，并继续将所述日志数据逐一写入本地的缓存器中。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的对日志数据进行存储的方法。