CN104679905B - 一种基于云存储的高速存储系统 - Google Patents

Abstract

本发明为了提高文件存储和传输过程中对云存储所依据的云计算的运行时的调用效率，提供了一种基于云存储的高速存储系统，包括云端服务单元、云端存储单元，以及通信单元，所述云端服务单元控制云端存储单元存储数据并控制通信单元进行数据的传输，所述云端服务单元包括文件格式数据库、格式转换监控模块、文件信息关联数据库、文件分割模块与文件合并模块。通过对大型文件的分割和合并，使得本发明的云存储系统降低了云存储调用和建立不同缓存空间的需求，提高了对大型文件存储速度的支持。

Description

一种基于云存储的高速存储系统

技术领域

本发明属于云存储传输技术领域，特别涉及一种基于云存储的高速存储系统。

背景技术

云计算(Cloud Computing)是分布式计算(Distributed Computing)、并行计算(Parallel Computing)、网格计算(Grid Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机技术和网络技术发展融合的产物。它通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助各种应用服务把强大的计算能力分布到终端用户手中。其基本原理是将计算任务通过网络分配给多台计算机执行。每台计算机称为云计算网络计算节点，执行计算任务的全部计算机整体称为云端，发出任务请求的计算机或者手机等其他设备称为终端。

云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

然而，目前的云存储技术在提高存储速度方面，基本上仍然依靠分布式处理的架构。然而，这种架构虽然能够在一定程度上提高存储效率，但由于待存储的不同大小的文件在存储乃至传输过程中需要占用的资源以及云计算占用的运行时不均，容易造成云存储服务的资源频繁调用，有时甚至导致资源没有被及时释放，从而影响了云存储的存储速度。

发明内容

本发明为了提高文件存储和传输过程中对云存储所依据的云计算的运行时的调用效率，提供了一种基于云存储的高速存储系统，包括云端服务单元、云端存储单元，以及通信单元，所述云端服务单元控制云端存储单元存储数据并控制通信单元进行数据的传输，所述云端服务单元包括文件格式数据库、格式转换监控模块、文件信息关联数据库、文件分割模块与文件合并模块，所述文件分割模块将大型文件分割为多个小型文件，所述文件格式数据库和文件信息关联数据库用于通过格式转换监控模块记录分割过程中的文件格式信息以及保存所述的多个小型文件时的存储位置信息，所述文件合并模块根据文件格式数据库和文件信息关联数据库将多个小型文件合并为大型文件，所述的大型文件和小型文件是根据文件的大小与文件大小的阈值的比较结果而确定的。

进一步地，所述基于云存储的高速存储系统还包括验证服务单元，用于对用户的身份进行验证。

进一步地，所述文件分割模块在接收到待存储大型文件以后，将大型文件分割成多个小型文件。

进一步地，文件分割模块将大型文件分割成多个小型文件包括：文件分割模块根据大型文件的后缀名在文件格式数据库中查找文件格式的定义，根据定义去掉文件头部的格式，并将去掉文件格式以后的文件分割成多个小型文件。

进一步地，在文件分割模块将大型文件分割成多个小型文件后，格式转换监控模块对云端存储单元进行监控。

进一步地，格式转换监控模块对云端存储单元进行监控包括：格式转换监控模块将云端存储单元保存被分割成的小型文件的保存位置以及被分割的大型文件的文件大小记录到文件信息关联数据库。

进一步地，所述文件合并模块在发送小型文件时，根据文件信息关联数据库和文件格式数据库的信息，将多个小型文件进行合并。

进一步地，所述文件合并模块将多个小型文件进行合并后，所述格式转换监控模块对合并后的大型文件的文件大小与文件信息关联数据库中记录的文件大小进行比较。

本发明的有益效果是：通过对大型文件的分割和合并，使得本发明的云存储系统降低了云存储调用和建立不同缓存空间的需求，提高了对大型文件存储速度的支持。

附图说明

图1示出了根据本发明的基于云存储的高速存储系统的结构框图。

具体实施方式

如图1所示，基于云存储的高速存储系统包括云端服务单元、云端存储单元，以及通信单元，所述云端服务单元控制云端存储单元存储数据并控制通信单元进行数据的传输，所述云端服务单元包括文件格式数据库、格式转换监控模块、文件信息关联数据库、文件分割模块与文件合并模块，所述文件分割模块将大型文件分割为多个小型文件，所述文件格式数据库和文件信息关联数据库用于通过格式转换监控模块记录分割过程中的文件格式信息以及保存所述的多个小型文件时的存储位置信息，所述文件合并模块根据文件格式数据库和文件信息关联数据库将多个小型文件合并为大型文件，所述的大型文件和小型文件是根据文件的大小与文件大小的阈值的比较结果而确定的。优选地，为了提高云存储的安全性，基于云存储的高速存储系统还包括验证服务单元，用于对从该基于云存储的高速存储系统中读取文件信息的用户的身份进行验证。

文件格式数据库中预先保存了各种文件格式的文件头定义。该定义包括如下各类信息：文件类型、该文件类型的文件头的格式、该文件类型的文件头的大小(字节数)、该文件类型的文件头的标识信息。这些信息作为参考信息被保存在文件格式数据库中。该数据库为只读性质，无法被修改。

通信单元接收到完整的文件数据以后，云端服务单元根据通信单元接收到的字节数与预设的文件大小阈值进行比较。本发明中，文件大小的阈值被设置在50MB-100MB之间，优选地为60MB。根据超过(含等于)或未超过该阈值，被接收的文件被分成大型文件和小型文件。该文件被传输到文件分割模块处理，处理后被送入云端存储单元进行存储。如果文件大小小于上述阈值，则直接被送入云端存储单元进行存储。

文件分割模块在接收到待存储的大型文件以后，将大型文件分割成多个小型文件。具体来说，文件分割模块根据大型文件的后缀名在文件格式数据库中查找文件格式的定义，根据文件格式数据库中对于该文件类型的定义去掉文件头部的格式，并将去掉文件格式以后的文件分割成文件头文件以及多个小型文件。所述文件头文件包括该文件类型的文件头的格式、该文件类型的文件头的大小(字节数)、该文件类型的文件头的标识信息等。然后，所述的多个小型文件被传输到云端存储单元。在云端存储单元的存储过程中，格式转换监控模块对文件头文件和这些小型文件被保存的位置进行监控并将这些地址记录在文件信息关联数据库。该文件信息关联数据库记载了文件头文件和所述多个小型文件所来源的大型文件的文件大小，以及对应于该文件的各个小型文件的被保存位置。这里所述的保存位置优选为HEX地址编码，以便云端存储单元直接根据该位置访问相应的文件数据，从而提高文件读取效率。

这样，不论通过通信单元接收的文件的大小，在保存到云端存储单元中时，单个文件的大小均不超过预定的阈值。这样既提高了存储效率和存储速度，而且能够有效避免文件读写过程中发生错误的情况。

相反地，当被保存的文件被从云端存储单元读出并将通过通信单元发送到用户时，格式转换监控模块在其自身查找云端存储单元读取文件的位置。

一旦找到，则该被读取出来的文件不是独立的文件而是应当在通过通信单元发送出去之前被进行合并。这时，文件合并模块从文件信息关联数据库读取该文件对应的大型文件的文件大小。然后，文件合并模块根据文件信息关联数据库和文件格式数据库的信息，将文件头文件和多个小型文件进行合并，其中文件头文件和多个小型文件是根据文件信息关联数据库中记录的关于该文件的所有存储位置都被云端存储单元遍历(即读取出来)得到的。被读取出来的文件头和上述多个小型文件被合并为一个大型文件。然后，比较该被合并生成的文件与上述文件信息关联数据库记载的该文件头对应的文件大小是否相同，如果不同，则重新进行合并。最后，该大型文件被传输到通信单元，进而发送给用户。

上述对数据库的数据存取操作中，对于同一文件类型或者同一大型文件被分割成的多个小型文件与该大型文件之间的关联通过数据库的索引建立。例如，对于文件信息关联数据库，在上述过程中，该数据库记载了文件头文件和所述多个小型文件所来源的大型文件的文件大小，以及对应于该文件的各个小型文件的被保存位置。记录时，就利用数据库索引等手段使它们彼此建立同一关联。这样，该关联仅对该文件产生效果，从而确保了数据库中文件对应的准确性。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种基于云存储的高速存储系统，包括云端服务单元、云端存储单元，以及通信单元，所述云端服务单元控制云端存储单元存储数据并控制通信单元进行数据的传输，其特征在于，所述云端服务单元包括文件格式数据库、格式转换监控模块、文件信息关联数据库、文件分割模块与文件合并模块，所述文件分割模块将大型文件分割为多个小型文件，所述文件格式数据库和文件信息关联数据库用于通过格式转换监控模块记录分割过程中的文件格式信息以及保存所述的多个小型文件时的存储位置信息，所述文件合并模块根据文件格式数据库和文件信息关联数据库将多个小型文件合并为大型文件，所述的大型文件和小型文件是根据文件的大小与文件大小的阈值的比较结果而确定的；

其中，所述文件分割模块将大型文件分割为多个小型文件包括：文件分割模块在接收到待存储的大型文件以后，将大型文件分割成多个小型文件，即：文件分割模块根据大型文件的后缀名在文件格式数据库中查找文件格式的定义，根据文件格式数据库中对于该文件类型的定义去掉文件头部的格式，并将去掉文件格式以后的文件分割成文件头文件以及多个小型文件；所述文件头文件包括该文件类型的文件头的格式、该文件类型的文件头的大小，以及该文件类型的文件头的标识信息；然后，所述的多个小型文件被传输到云端存储单元；在云端存储单元的存储过程中，格式转换监控模块对文件头文件和这些小型文件被保存的位置进行监控并将这些地址记录在文件信息关联数据库；该文件信息关联数据库记载了文件头文件和所述多个小型文件所来源的大型文件的文件大小，以及对应于该文件的各个小型文件的被保存位置；这里所述的保存位置为HEX地址编码，以便云端存储单元直接根据该位置访问相应的文件数据，从而提高文件读取效率。

2.根据权利要求1的基于云存储的高速存储系统，其特征在于，所述基于云存储的高速存储系统还包括验证服务单元，用于对用户的身份进行验证。

3.根据权利要求1的基于云存储的高速存储系统，其特征在于，所述文件分割模块在接收到待存储大型文件以后，将大型文件分割成多个小型文件。

4.根据权利要求3的基于云存储的高速存储系统，其特征在于，文件分割模块将大型文件分割成多个小型文件包括：文件分割模块根据大型文件的后缀名在文件格式数据库中查找文件格式的定义，根据定义去掉文件头部的格式，并将去掉文件格式以后的文件分割成多个小型文件。

5.根据权利要求4的基于云存储的高速存储系统，其特征在于，在文件分割模块将大型文件分割成多个小型文件后，格式转换监控模块对云端存储单元进行监控。

6.根据权利要求5的基于云存储的高速存储系统，其特征在于，格式转换监控模块对云端存储单元进行监控包括：格式转换监控模块将云端存储单元保存被分割成的小型文件的保存位置以及被分割的大型文件的文件大小记录到文件信息关联数据库。

7.根据权利要求1的基于云存储的高速存储系统，其特征在于，所述文件合并模块在发送小型文件时，根据文件信息关联数据库和文件格式数据库的信息，将多个小型文件进行合并。

8.根据权利要求7的基于云存储的高速存储系统，其特征在于，所述文件合并模块将多个小型文件进行合并后，所述格式转换监控模块对合并后的大型文件的文件大小与文件信息关联数据库中记录的文件大小进行比较。