CN116541348B - 数据智能存储方法及终端查询一体机 - Google Patents

Abstract

本发明提供数据智能存储方法及终端查询一体机，涉及数据存储领域。该数据智能存储方法，包括客户端服务、云端服务、索引服务和加密服务，通过在客户端服务和云端服务开辟一个数据空间，并开设可以连续读取的数据集，在数据集中包含用于数据读取的表示，在数据读取时，可将数据集当作一个整体文件，在数据集中读取时，若所需两个数据之间存在不需要的数据，则判断读取不需要的文件所耗费的时间是否大于跳过不需要的数据再次寻址的时间，根据消费时间判读是否读取无用文件，在发送至客户端服务时，将其剔除。上述中可以大大降低寻址的次数，提高数据读取的效率。

Description

数据智能存储方法及终端查询一体机

技术领域

本发明涉及数据存储技术领域，具体为数据智能存储方法及终端查询一体机。

背景技术

云存储是一种网上在线存储的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。现有的大容量的存储介质有机械硬盘、固态硬盘和磁带。数据的读取方式有顺序读取和随机读取，上述三种介质中，狭隘地说磁带是不具备随机读取的能力，磁带一般用于数据备份。固态硬盘不管在顺序读取和随机读取的速度都优异于机械硬盘，但是固态硬盘的成本、数据的写入量和数据的可恢复性都不如机械硬盘，故一般云存储使用的存储介质为机械硬盘。

机械硬盘进行存储数据时，其策略一般是将按顺序存储文件。在大批量进行读取数据时需要，机械硬盘每读取一个文件进行寻址一次，且一次寻址的时间在9ms左右，随着读取文件的数量增加，其总的寻址时间大大增加，降低数据的读取效率。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了数据智能存储方法及终端查询一体机，解决了机械硬盘存储读取数据效率低的问题。

（二）技术方案

为实现以上目的，本发明通过以下技术方案予以实现：数据智能存储方法，包括客户端服务、云端服务、索引服务和加密服务，所述客户端服务用于使用者上传或者下载存储在云端服务的数据，所述索引服务用于保存云端服务的数据存储地址信息，并生成连接表，连接表包括文件名簿以及对应数据所对应在云端服务的地址，所述加密服务用于云端服务的数据的加密；

所述客户端服务和云端服务均设置有数据空间，所述数据空间存储有若干个文件大小相等的数据集，且每个数据集均连续存储在所述数据空间中，即数据集连续存储指的是数据连续读取，满足连续读取后，数据不一定是在空间上的连续存储；

所述数据集为单一文件，且包括一份数据集头文件（1）、一份数据尾文件（5），在所述数据集头文件（1）和数据尾文件（5）之间存储有若干数据本体（3），每个所述数据本体（3）的两端分别设置有文件头文件（2）和文件尾文件（4）；

该存储方法包括以下内容：

上传存储数据：首次客户端服务向云端服务上传数据时，先在客户端服务的设备上开设数据空间，并且生成数据集，接着将数据填入数据集中，每个数据本体均需要设置文件头文件（2）和文件尾文件（4），数据集头文件（1）中记录数据集中所填入的数据信息以及文件头文件（2）、文件尾文件（4）的地址信息，然后将数据集向云端服务上传，过程中，先向索引服务申请，待索引服务在云端服务开设数据空间，然后在客户端服务将数据集存储至云端服务的数据空间中，再次上传数据时，所需要判断数据集剩余空间是否满足存储需要，若满足则将数据存入数据集中，并更新数据集头文件（1），若不满足，则新开设新数据集，而数据集的数据尾文件（5）中包含指向新数据集的地址，并且将数据存储至新数据集中，并上传至云端；

下载数据：客户端服务向云端服务下载数据时，客户端服务向索引服务发送下载请求，索引服务将所需要下载的数据地址返回至客户端服务，客户端服务通过数据地址从云端服务进行下载，单一数据下载时，先读取数据集头文件（1），并结合文件头文件（2）和文件尾文件（4）将所需数据读取并发生至客户端服务，多个数据读取时，通过数据集头文件（1）获取所获取的数据的在数据集中的分布，若所需两个数据之间存在不需要的数据，则判断读取不需要的文件所耗费的时间是否大于跳过不需要的数据再次寻址的时间，若大于则进行再次寻址，否则将不需要的数据一同读取，在发送至客户端服务时，将其剔除，若所下载的数据刚好满足一个数据集，则直接将该数据集发送至客户端服务。

优选的，所述云端服务的存储模块类型为机械硬盘，为云存储的较佳的存储器件。

优选的，所述数据集的大小为1Gb、2Gb、4Gb中的一种，即数据集生成后的占据空间的大小，根据单个文件的大小以及后期整合操作进行合理的选择，利于最大化利用机械硬盘的使用空间。

优选的，所述客户端服务中设有私有空间，且客户端的数据空间位于私有空间中，所述私有空间中还设置有链接空间，所述链接空间设有云端存储文件列表、本地同步文件列表和本地私有文件列表，所述云端存储文件列表包含了云端服务中所有数据的文件名，所述本地同步文件列表包含了客户端服务和云端服务相同数据的文件名，且本地同步文件列表中包含的地址指向客户端服务中数据空间，所述本地私有文件列表包含了客户端服务中未上传至云端服务数据的文件名。

优选的，所述本地私有文件列表中的文件名拉入本地同步文件列表后，该客户端服务未上传的数据先填入客户端服务中的数据集中，接着上传至云端服务。

优选的，所述上传存储数据中当数据集的空间无法容纳一个数据后，将数据分割成两个数据，第一个数据存储在已有的数据集中，第二个数据存储在新开设的数据集中，并且第一个数据的文件尾文件（4）中包含数据未完整的标记。

优选的，数据集头文件（1）的信息包括数据集名称、数据集编号、数据集中所包含的文件的名称和对应的物理地址，物理地址包括文件头文件（2）和文件尾文件（4）在盘片上的实际位置，该物理地址由当前存储该数据集的存储模块提供，而位于数据本体（2）头部的文件头文件（2）和位于数据本体（2）尾部的文件尾文件（4）中均包含数据集编号、文件编号和特征码，数据集编号和存储该文件头文件（2）和文件尾文件（4）的数据集的数据编号一致，文件编号也是一样，同时在特征码具有三种，开始特征码位于文件头文件（2）中，结束特征码位于文件尾文件（4），续接特征码位于数据集最后一个数据本体（2）的文件尾文件（4）中或者位于数据集第一个数据本体（2）的文件头文件（2）中，即续接特征码表示据未完整的标记。

优选的，本地同步文件列表中文件在客户端丢失，可自动下载云端服务中的数据。

优选的，数据集中需要进行数据的删除时，可以在数据集头文件中将该数据的文件的名称以及文件编号，当数据集中存储的有效数据存在不连续后，可以对数据进行整合，可以采取新开设数据集，将原有的数据集中的数据连续注入数据集中，实现新开设的数据集中的数据连续。

终端查询一体机，包括用于数据存储的硬盘、计算用的CPU、通讯用的网络模块。

（三）益效果

本发明提供了数据智能存储方法及终端查询一体机。具备以下有益效果：

1、本发明，设置读取连续数据集，可将多个数据整合成一个文件，并且设置有文件头文件和文件尾文件，通过判断所读取的数据在数据集上的分布，判断不需要的文件读取时间，和下一次寻址的时间相比较，从而确定是否进行寻址，从而降低寻址的时间，提高数据的读取效率。

2、本发明，客户端服务设置有连接空间中设有云端存储文件列表、本地同步文件列表和本地私有文件列表，可以方便对数据的操作。

附图说明

图1为本发明的存储服务示意图；

图2为本发明的私有空间示意图；

图3为本发明的数据集的结构示意图；

图4为本发明的数据集头文件和文件头文件、文件尾文件关系对应示意图；

图5为本发明的数据地址对应关系。

其中，1、数据集头文件；2、文件头文件；3、数据本体；4、文件尾文件；5、数据集尾文件。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1所示，本发明实施例提供数据智能存储的系统，包括终端设备和云端服务器，终端设备和云端服务器之间具有通讯的能力，终端设备可以广义理解为终端查询一体机，终端查询一体机包括用于数据存储的硬盘、计算用的CPU、通讯用的网络模块等，终端查询一体机包括但不限于智能手机、平板电脑和台式电脑，并且终端查询一体机上运行有客户端服务。

云端服务器在硬件上和终端查询一体机类似，均设有用于数据存储的硬盘、计算用的CPU、通讯用的网络模块，并且硬盘为机械硬盘，在云端服务器运行有云端服务、加密服务和索引服务。

客户端服务用于使用者上传或者下载存储在云端服务的数据，索引服务用于保存云端服务的数据存储地址信息，并生成连接表，加密服务用于云端服务的数据的加密，在符合权限下，可以将上传至云端服务的数据加密存储，数据分发时，将其解密。

实施例二：

本发明实施例提供数据智能存储的方法，包括以下步骤：

步骤一：在终端设备上运行客户端服务，客户端服务在终端设备上的硬盘上划分一个可以扩增的私有空间，并且在私有空间中分配有数据空间和链接空间，连接空间中设有云端存储文件列表、本地同步文件列表和本地私有文件列表，具体如图2所示。

步骤二：用户在客户端服务上传数据时，预先在客户端服务中的数据空间分配一个可以连续读取的数据集，数据集的大小可以是1Gb、2Gb、4Gb中的一种，方便后续数据的处理，此时数据集中包括数据集头文件1和数据集尾文件5，在数据集头文件1此时包含随机生成的数据集名称和数据集编号，接着将需要云端存储的数据拖入本地同步文件列表中，客户端服务将数据注入至数据集中，并且在单个数据本体3头部生成文件头文件2，以及在尾部生成文件尾文件4，将数据本体3注入数据集中后，在数据集头文件1中记录数据本体3的文件名称，并随机生成文件编号，随后将数据集编号和文件表编号记录至文件头文件2和文件尾文件4中，数据本体3完全导入数据集后，文件头文件2中还标记有开始特征码，文件尾文件3中标记结束特征码，最后在数据集头文件中记录文件地址，即文件头文件2和文件尾文件4的物理地址，该地址为数据所存储的硬盘的地址，如图3-4所示；

客户端服务处理完毕后，客户端服务向索引服务递交上传数据存储的需求，索引服务接受该指令后，预先将上传的数据进行记录，并且索引服务向云端服务申请存储空间，并且将空间的地址反馈至索引服务，索引服务将地址反馈至客户端服务，客户端服务将数据传送至云端服务，存储在指定的地址，云端服务保存数据的形式和客户端服务的形式一致，但是在保存时，可以选择是否将数据先进行加密，再进行保存，若数据在云端服务保存成功，则在索引服务生成连接表，连接表中包含了文件名簿，存储数据的文件名称，以及数据存储在云端服务的地址，此时本地同步文件列表和文件名簿对应，并且位于本地同步文件列表中的数据和云端服务中存储的数据在保持通讯的情况下实时同步。

步骤三：客户端服务需要下载或者同步更新数据时，用户选择客户端服务中的云端存储文件列表或者本地同步文件列表进行数据处理时，将所下载的数据名称发送至索引服务中，通过链接连接表，获取地址，通过地址向云端服务进行下载。单一数据下载时，先读取数据集头文件1，并结合文件头文件2和文件尾文件4将所需数据读取并发生至客户端服务，多个数据读取时，通过数据集头文件1获取所获取的数据的在数据集中的分布，若所需两个数据之间存在不需要的数据，则判断读取不需要的文件所耗费的时间是否大于跳过不需要的数据再次寻址的时间，若大于则进行再次寻址，否则将不需要的数据一同读取，在发送至客户端服务时，将其剔除，若所下载的数据刚好满足一个数据集，则直接将该数据集发送至客户端服务，在多数据读取时，尤其是大批量数据较小的情况下，可以大大减少寻址的时间，提高读取的速度。

上述步骤中，客户端服务、云端服务等，数据的对应关系如图5所示。

实施例三：

基于实施二，若第n个数据集中存在空间（n为自然数），并且单个数据本体3无法容纳时，可以将单个数据进行分隔成两份，一份存储在第n个数据集中，另一份存储在新开设的第n+1个数据集中，并且在第n个数据集存储的数据本体3后的文件尾文件4中其特征码更改为连续特征码，表示当前的本体3不完整，同时存储在第n+1个数据集中的第一个数据本体3的文件头文件2中的特征码也标记为连续特征码。

实施例四：

基于实施二，云端存储文件列表和本文件同步列表中的数据文件名称设置有表示，改变该标识可以实现数据文件名称在云端存储文件列表和本文件同步列表之间的切换，删除云端存储文件列表和本文件同步列表中的数据时，云端服务中的数据被删除，但是云端存储文件列表中对应在客户端服务的数据被删除后，云端服务的数据不受影响的，本文件同步列表中的文件删除后，云端服务中的无数据也被删除，当云端存储文件列表和本文件同步列表都存在时，连接表中的文件名簿是这两者的集合。以及连接空间中还涉及有本地私有文件列表，即该数据不上传至云端服务。

实施例五：

基于实施二，云端存储文件列表和本文件同步列表进行删除数据时，可以在数据集头文件中将该数据的文件的名称以及文件编号，当数据集中存储的有效数据存在不连续后，可以对数据进行整合，可以采取新开设数据集，将原有的数据集中的数据连续注入数据集中，实现新开设的数据集中的数据连续，并且对连接表、云端存储文件列表和本文件同步列表进行更新。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.数据智能存储方法，其特征在于，在其预设的客户端服务和云端服务均开辟有数据空间，并且数据空间连续存储有数据集；

所述数据集为单一文件，并设置有数据集头文件（1）、数据集尾文件（5）、文件头文件（2）和文件尾文件（4），以及数据本体（3）；

该存储方法还包括索引服务，并且该存储方法包括以下内容：

上传存储数据：首次客户端服务向云端服务上传数据时，先在客户端服务的设备上开设数据空间，并且生成数据集，接着将数据填入数据集中，每个数据本体均需要设置文件头文件（2）和文件尾文件（4），数据集头文件（1）中记录数据集中所填入的数据信息以及文件头文件（2）、文件尾文件（4）的地址信息，然后将数据集向云端服务上传，过程中，先向索引服务申请，待索引服务在云端服务开设数据空间，然后在客户端服务将数据集存储至云端服务的数据空间中，再次上传数据时，所需要判断数据集剩余空间是否满足存储需要，若满足则将数据存入数据集中，并更新数据集头文件（1），若不满足，则新开设新数据集，而数据集的数据集尾文件（5）中包含指向新数据集的地址，并且将数据存储至新数据集中，并上传至云端；

下载数据：客户端服务向云端服务下载数据时，客户端服务向索引服务发送下载请求，索引服务将所需要下载的数据地址返回至客户端服务，客户端服务通过数据地址从云端服务进行下载，单一数据下载时，先读取数据集头文件（1），并结合文件头文件（2）和文件尾文件（4）将所需数据读取并发生至客户端服务，多个数据读取时，通过数据集头文件（1）获取所获取的数据的在数据集中的分布，若所需两个数据之间存在不需要的数据，则判断读取不需要的文件所耗费的时间是否大于跳过不需要的数据再次寻址的时间，若大于则进行再次寻址，否则将不需要的数据一同读取，在发送至客户端服务时，将其剔除，若所下载的数据刚好满足一个数据集，则直接将该数据集发送至客户端服务；

所述云端服务的存储模块类型为机械硬盘。

2.根据权利要求1所述的数据智能存储方法，其特征在于：所述数据集的大小为1Gb、2Gb、4Gb中的一种。

3.根据权利要求1所述的数据智能存储方法，其特征在于：所述客户端服务中设有私有空间，且客户端的数据空间位于私有空间中，所述私有空间中还设置有链接空间，所述链接空间设有云端存储文件列表、本地同步文件列表和本地私有文件列表，所述云端存储文件列表包含了云端服务中所有数据的文件名，所述本地同步文件列表包含了客户端服务和云端服务相同数据的文件名，且本地同步文件列表中包含的地址指向客户端服务中数据空间，所述本地私有文件列表包含了客户端服务中未上传至云端服务数据的文件名。

4.根据权利要求3所述的数据智能存储方法，其特征在于：所述本地私有文件列表中的文件名拉入本地同步文件列表后，该客户端服务未上传的数据先填入客户端服务中的数据集中，接着上传至云端服务。

5.根据权利要求1所述的数据智能存储方法，其特征在于：所述上传存储数据中当数据集的空间无法容纳一个数据后，将数据分割成两个数据，第一个数据存储在已有的数据集中，第二个数据存储在新开设的数据集中，并且第一个数据的文件尾文件（4）中包含数据未完整的标记。

6.终端查询一体机，用于运行权利要求1-5任意一项所述数据智能存储方法，其特征在于，包括用于数据存储的硬盘、计算用的CPU、通讯用的网络模块。