CN1996305A - 一种数据存储及读取方法及装置以及数据传输系统 - Google Patents

Abstract

本发明公开了一种数据存储及读取方法及装置以及数据传输系统，用于提高日志数据存储及读取的性能。数据存储方法包括：将数据存储入本地存储单元；判断本地存储单元中存储的数据量是否达到导出门限值，若达到，则按照数据的存储顺序在本地存储单元进行数据导出，并将导出数据存储于远程存储单元。数据读取方法包括：获取搜索条件参数；在本地存储单元中查询满足搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元中查询满足搜索条件参数的数据，读取出该数据并删除本地存储单元中最早存入的数据，将查询到的数据存入本地存储单元。本发明还提供相应的装置以及系统。本发明可以有效地提高日志数据存储及读取的性能。

Description

一种数据存储及读取方法及装置以及数据传输系统

技术领域

本发明涉及数据处理领域，尤其涉及一种数据存储及读取方法及装置以及数据传输系统。

背景技术

众所周知日志记录了产品运行过程中的重要信息，随着设备复杂度的提高，日志数据量急剧上涨。为了满足客户的要求和自身产品定位问题的需要，设备中一般要求尽可能多的保存日志文件。

现有技术中一种存储日志数据的方法为：在设备中增加压缩闪存(CF，Compact Flash)卡来存储日志文件。

但是CF卡本身的空间有限，一般采用滚动存储的办法删除旧的日志信息，这样在日志量大的情况下便会损失宝贵的日志信息。

现有技术中另一种存储日志数据的方法为：采用远程服务器集中管理日志文件，该方案需要设置一个专门的日志服务器来存储产生的日志文件。

但是该方案对服务器和网络连接的依赖性相当大，对通讯要求的质量很高，在通讯线路不好的时候日志无法及时存储和读取。

发明内容

本发明要解决的技术问题是提供一种数据存储及读取方法及装置以及数据传输系统，能够提高日志数据存储的性能。

本发明提供的数据存储方法，包括：将数据存储入本地存储单元；判断所述本地存储单元中存储的数据量是否达到导出门限值，若达到，则按照数据的存储顺序在本地存储单元进行数据导出，并将导出数据存储于远程存储单元。

本发明提供的数据读取方法，包括：获取搜索条件参数；在本地存储单元中查询满足所述搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元中查询满足所述搜索条件参数的数据，读取出该数据并删除本地存储单元中最早存入的数据，将所述查询到的满足搜索条件参数的数据存入本地存储单元。

本发明提供的数据读取方法，包括：获取搜索条件参数；在本地存储单元中查询满足所述搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元中查询满足所述搜索条件参数的数据，读取出该数据并拒绝将查询到的数据存入本地存储单元。

本发明提供的数据存储装置，包括：数据写入单元，本地存储单元，校验单元，转发单元以及远程存储单元；所述数据写入单元用于将数据存储到本地存储单元；所述本地存储单元用于存储数据写入单元存入的数据；所述校验单元用于判断本地存储单元中存储的数据量是否达到导出门限值，若达到，向转发单元发送导出消息；所述转发单元在收到校验单元发送的导出消息之后根据数据的存储顺序在本地存储单元进行数据导出，并将导出的数据发送至远程存储单元存储；所述远程存储单元用于存储转发单元发送的数据。

本发明提供的数据读取装置，包括：数据读取单元，本地存储单元，读取控制单元以及远程存储单元；所述数据读取单元用于获取搜索条件参数并在本地存储单元中查询满足所述搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元中查询满足所述搜索条件参数的数据并读取出该数据；所述读取控制单元用于当读取数据之后删除本地存储单元中最早存入的数据，将所述查询到的满足搜索条件参数的数据存入本地存储单元。

本发明提供的数据传输系统，包括：数据写入单元，本地存储单元，存储控制单元，远程存储单元以及数据读取单元；所述数据写入单元用于向本地存储单元写入数据；所述存储控制单元用于当本地存储单元中存储的数据量达到导出门限值时将按数据的存储顺序在本地存储单元进行数据导出，并将导出的数据发送至远程存储单元存储；所述本地存储单元用于存储数据写入单元写入的数据；所述远程存储单元用于存数存储控制单元发送的数据；所述数据读取单元用于根据搜索条件参数在本地存储单元和/或远程存储单元中查询数据并将查询到的满足搜索条件参数的数据读出。

从以上技术方案可以看出，本发明具有以下优点：

本发明数据存储方法在存储日志数据时先存放于本地存储单元，当达到导出门限时将早期存入数据发送至远程存储单元，远程存储单元具有非常大的存储空间，所以最大限度保证了日志数据的数量，提高了数据存储性能；

本发明数据存储方法在将数据发送至远程存储单元时可以根据实际的网络情况和远程存储单元的性能选择发送方式，可以一次性发送数据以减少对远程存储单元的访问次数，也可以在不影响远程存储单元正常业务的情况下，在远程存储单元空闲时分次发送数据，所以提高了数据存储的灵活性。

附图说明

图1为本发明数据存储方法第一实施例流程图；

图2为本发明数据存储方法第二实施例流程图；

图3为本发明数据读取方法第一实施例流程图；

图4为本发明数据读取方法第二实施例流程图；

图5为本发明数据存储装置实施例示意图；

图6为本发明数据读取装置实施例示意图；

图7为本发明数据传输系统实施例示意图。

具体实施方式

本发明提供了一种数据存储及读取方法及装置以及数据传输系统，用于提高日志数据存储及读取的性能。

请参阅图1，本发明存储方法实施例包括：

101、将数据存入本地存储单元；

其中，在本实施例以及后续实施例中，以日志数据为例，可以理解的是，同样可以是其它类似的数据。

其中，本地存储单元可以是设备自身携带的闪存芯片，例如CF卡等，同样可以是其它存储介质。本实施例以及后续实施例中，以CF卡为例。

首先在本地存储单元生成固定大小的日志文件，将设备生成的日志数据写入日志文件中。

102、判断本地存储单元中的数据量是否达到导出门限值，若达到，则执行步骤103，若未达到，则执行步骤101；

其中，导出门限值在后续实施例中详细说明。

103、按数据的存储顺序在本地存储单元中进行数据导出；

其中，本实施例中是根据数据的存储时间，将数据按照“先入先出”的顺序导出预置数据量的数据，所以本实施例中，在将日志数据存入本地存储单元时需要记录该数据的存储时间，后续的实施例同样采用存储时间，可以理解的是，除了采用存储时间记录外，还可以采用存储顺序记录，例如第一个存入的标识为1，第二个标识为2，依此类推。

104、将导出的数据存储于远程存储单元。

其中，远程存储单元可以是远程数据存储服务器，或者是其它海量数据存储设备，也就是理论上满足可以无限存储数据的设备。

请参阅图2，本发明数据存储方法第二实施例包括：

201、将数据存入本地存储单元中的第一存储单元；

其中，在存储数据之前先将本地存储单元划分为第一存储单元以及第二存储单元，第一存储单元作为活动区，第二存储单元作为备份区，活动区设置有文件指针，指示当前正在操作的日志文件。

当有新的日志数据产生时，日志数据被写入当前文件指针所指向的日志文件中，当这个文件的达到预先设定的固定文件大小时结束这个文件，重新创建一个新的文件继续写入。

202、判断第一存储单元是否存储满，若是，则执行步骤203，若否，则执行步骤201；

203、判断第二存储单元中是否有数据，若有，则执行步骤204，若否，则执行步骤205；

204、删除第二存储单元中最早存入的数据；

205、将新接收到的日志数据存入第二存储单元，同时标识本地存储单元中的数据量达到导出门限值；

其中，步骤203至步骤205完成的是第一存储单元与第二存储单元的倒换，即是在第一存储单元存储满后将第一存储单元转换为备份区，将第二存储单元转换为活动区。

步骤203与步骤204为可选步骤，可以不对第二存储单元中的数据进行判断，直接将新接收到的数据覆盖最早存入的数据。

在本实施例以及后续实施例中，达到导出门限值的触发条件即是第一存储单元存储满。

206、建立本地存储单元与远程存储单元之间的连接；

其中，本地存储单元建立与远程存储单元之间的数据传输连接。

207、导出第一存储单元中的数据；

208、将导出的数据发送至远程存储单元。

其中，首先获取远程存储单元的网络性能参数以及系统性能参数，判断所述网络性能参数以及系统性能参数是否达到传输门限值，若达到，则将第一存储单元中的数据通过建立的连接向远程存储单元发送。

可以根据实际情况设置传输门限值，即当远程存储单元业务不繁忙时向远程存储单元导出数据，以减少对远程存储单元正常业务的影响。

具体的导出方式有以下两种：

一、一次性导出：当远程存储单元业务不繁忙时，一次性将第一存储单元中的所有数据全部导出至远程存储单元，这样可以在导出数据时只需要对远程存储单元进行一次访问，减少了远程存储单元的负载；

二、断点导出：当远程存储单元业务不繁忙时，向远程存储单元导出数据，同时监控是否满足传输中断条件，其中，传输中断条件可以是在导出过程中发现远程存储单元有优先级更高的业务需要处理，若满足传输中断条件，则中断当前的数据传输并记录中断点，在等待预置时间之后检测是否可以继续传输，即高优先级任务是否已经完成，若已完成，则从记录的中断点开始继续传输数据，这样可以最大程度的避免对远程存储单元处理性能的影响。

其中，在第一存储单元的数据导出完成之后可以选择删除第一存储单元中的数据，或者不删除，若选择不删除，则可以在本地存储尽可能多的数据，在数据读取时就提高了本地命中率，减少了对远程存储单元的访问，降低了网络负担。

请参阅图3，本发明数据读取方法第一实施例包括：

301、获取搜索条件参数；

302、在本地存储单元中查询；

其中，在本地存储单元中查询满足搜索条件参数的数据。

303、判断是否在本地存储单元中查询到满足搜索条件参数的数据，若查询到，则执行步骤304，若未查询到，则执行步骤305；

304、读取出该数据；

其中，读取出该数据并结束此次数据读取流程。

305、在远程存储单元中查询满足搜索条件参数的数据；

306、读取出该数据；

其中，由于远程存储单元是海量的，理论上可以存储无限量的数据，所以如果搜索条件参数正确，则一定会查询到满足搜索条件参数的数据。

307、删除本地存储单元中最早存入的数据；

308、将读取出的数据存入本地存储单元。

其中，将远程存储单元中读取出的数据存入本地存储单元，提高下次对该数据访问时的本地命中率，以减少对远程存储单元的访问次数和压力。

其中，步骤307为可选步骤，若本地存储单元中仍有空余空间，则可以不删除最早存入的数据。

请参阅图4，本发明数据读取方法第二实施例包括：

401、获取搜索条件参数；

402、在本地存储单元中查询数据；

403，判断是否在本地存储单元中查询到，若是，则执行步骤404，若否，则执行步骤405；

404、读取出该数据并结束此次读取流程。

405、在远程数据存储单元中查询出该数据；

406、读取该数据并拒绝将该数据存储至本地存储单元，同时结束此次读取流程。

上面描述了两种数据读取方法实施例，区别在于：若在远程存储单元读取到数据，是否要将该数据存储至本地存储单元，一般使用如下规则判断：

一、数据的重要性：

若数据重要性高，例如第一次在远程存储单元查询到的时候不将其存储至本地存储单元，之后用户又多次搜索该数据，则在预定的查询次数之后将查询到的数据存储到本地存储单元。

二、数据量：

若数据量超过预定值，则不将查询到的数据存储至本地存储单元。

上述的数据读取方法实施例中采用两种方式进行数据读取，既可以进行单日志的查询读取，也可以进行批量数据查询读取，用户可以根据实际情况进行选择，所以提高了数据读取的灵活性。

请参阅图5，本发明数据存储装置实施例包括：

数据写入单元501，本地存储单元502，校验单元503，转发单元504以及远程存储单元505；

所述数据写入单元501用于将数据存储到本地存储单元502；

所述本地存储单元502用于存储数据写入单元501存入的数据；

所述校验单元503用于判断本地存储单元502中存储的数据量是否达到导出门限值，若达到，向转发单元504发送导出消息；

所述转发单元504在收到校验单元503发送的导出消息之后根据数据的存储顺序在本地存储单元502进行数据导出，并将导出的数据发送至远程存储单元存储505；

所述远程存储单元505用于存储转发单元504发送的数据。

其中，所述本地存储单元502包括：

第一存储单元5021以及第二存储单元5022；

所述第一存储单元5021用于存储写入单元501写入的数据，在存储满之后通知校验单元503本地存储单元502中存储的数据量达到导出门限值；

所述第二存储单元5022在第一存储单元5021存储满之后存储新接收到的数据。

请参阅图6，本发明数据读取装置实施例包括：

数据读取单元601，本地存储单元502，读取控制单元602以及远程存储单元505；

所述数据读取单元601用于获取搜索条件参数并在本地存储单元502中查询满足所述搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元505中查询满足所述搜索条件参数的数据并读取出该数据；

所述读取控制单元602用于当读取数据之后删除本地存储单元502中最早存入的数据，将所述查询到的满足搜索条件参数的数据存入本地存储单元502。

请参阅图7，本发明数据传输系统实施例包括：

数据写入单元501，本地存储单元502，存储控制单元701，远程存储单元505以及数据读取单元601；

所述数据写入单元501用于向本地存储单元502写入数据；

所述存储控制单元701用于当本地存储单元502中存储的数据量达到导出门限值时将按数据的存储顺序在本地存储单元502进行数据导出，并将导出的数据发送至远程存储单元505存储；

所述本地存储单元502用于存储数据写入单元501写入的数据；

所述远程存储单元505用于存数存储控制单元701发送的数据；

所述数据读取单元601用于根据搜索条件参数在本地存储单元502和/或远程存储单元505中查询数据并将查询到的满足搜索条件参数的数据读出。

以上对本发明所提供的一种数据存储及读取方法及装置以及数据传输系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1、一种数据存储方法，其特征在于，包括：

将数据存储入本地存储单元；

判断所述本地存储单元中存储的数据量是否达到导出门限值，若达到，则按照数据的存储顺序在本地存储单元进行数据导出，并将导出数据存储于远程存储单元。

2、根据权利要求1所述的数据存储方法，其特征在于，所述将数据存储在本地存储单元的步骤包括：

将数据存入所述本地存储单元中的第一存储单元；

判断所述第一存储单元是否存储满，若存储满，则将新接收到的数据存入本地存储单元中的第二存储单元并标识本地存储单元中存储的数据量达到导出门限值；

其中，所述本地存储单元被划分为第一存储单元以及第二存储单元。

3、根据权利要求2所述的数据存储方法，其特征在于，所述将新接收到的数据存入第二存储单元的步骤包括：

判断第二存储单元中是否存储有数据，若有，则删除最早存入的数据，并将新接收到的数据存入第二存储单元。

4、根据权利要求2或3所述的数据存储方法，其特征在于，所述按照数据的存储顺序在本地存储单元进行数据导出，并将导出数据存储于远程存储单元的步骤包括：

建立本地存储单元与远程存储单元之间的连接；

将第一存储单元中的数据导出并通过所述连接发送至远程存储单元。

5、根据权利要求4所述的数据存储方法，其特征在于，所述将所述第一存储单元中的数据通过所述连接发送至远程存储单元存储的步骤包括：

获取远程存储单元的网络性能参数以及系统性能参数；

判断所述网络性能参数以及系统性能参数是否达到传输门限值，若达到，则将第一存储单元中的数据通过建立的连接向远程存储单元发送。

6、根据权利要求5所述的数据存储方法，其特征在于，所述将第一存储单元中的数据通过建立的连接向远程存储单元发送的步骤包括：

判断是否满足预置的传输中断条件，若满足，则中断当前数据传输并记录中断点；

在预置的等待周期后判断是否可以继续传输，若可以，则从所述中断点开始继续传输数据。

7、一种数据读取方法，其特征在于，包括：

获取搜索条件参数；

在本地存储单元中查询满足所述搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元中查询满足所述搜索条件参数的数据，读取出该数据并删除本地存储单元中最早存入的数据，将所述查询到的满足搜索条件参数的数据存入本地存储单元。

8、一种数据读取方法，其特征在于，包括：

获取搜索条件参数；

在本地存储单元中查询满足所述搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元中查询满足所述搜索条件参数的数据，读取出该数据并拒绝将查询到的数据存入本地存储单元。

9、一种数据存储装置，其特征在于，包括：

数据写入单元，本地存储单元，校验单元，转发单元以及远程存储单元；

所述数据写入单元用于将数据存储到本地存储单元；

所述本地存储单元用于存储数据写入单元存入的数据；

所述校验单元用于判断本地存储单元中存储的数据量是否达到导出门限值，若达到，向转发单元发送导出消息；

所述转发单元在收到校验单元发送的导出消息之后根据数据的存储顺序在本地存储单元进行数据导出，并将导出的数据发送至远程存储单元存储；

所述远程存储单元用于存储转发单元发送的数据。

10、根据权利要求9所述的数据存储装置，其特征在于，所述本地存储单元包括：

第一存储单元以及第二存储单元；

所述第一存储单元用于存储写入单元写入的数据，在存储满之后通知校验单元本地存储单元中存储的数据量达到导出门限值；

所述第二存储单元在第一存储单元存储满之后存储新接收到的数据。

11、一种数据读取装置，其特征在于，包括：

数据读取单元，本地存储单元，读取控制单元以及远程存储单元；

所述数据读取单元用于获取搜索条件参数并在本地存储单元中查询满足所述搜索条件参数的数据，若查询到则读取出该数据，若未查询到则在远程存储单元中查询满足所述搜索条件参数的数据并读取出该数据；

所述读取控制单元用于当读取数据之后删除本地存储单元中最早存入的数据，将所述查询到的满足搜索条件参数的数据存入本地存储单元。

12、一种数据传输系统，其特征在于，包括：

数据写入单元，本地存储单元，存储控制单元，远程存储单元以及数据读取单元；

所述数据写入单元用于向本地存储单元写入数据；

所述存储控制单元用于当本地存储单元中存储的数据量达到导出门限值时将按数据的存储顺序在本地存储单元进行数据导出，并将导出的数据发送至远程存储单元存储；

所述本地存储单元用于存储数据写入单元写入的数据；

所述远程存储单元用于存数存储控制单元发送的数据；

所述数据读取单元用于根据搜索条件参数在本地存储单元和/或远程存储单元中查询数据并将查询到的满足搜索条件参数的数据读出。

Images