CN109508323A - 一种文件存储系统及文件存储方法 - Google Patents

Abstract

本发明实施例公开了一种文件存储系统及文件存储方法，其中，所述系统包括应用层、接口适配层和存储层；接口适配层创建于应用层和存储层之间，将与两种或两种以上的文件存储方式匹配的文件存储系统的对应接口封装至接口适配层，接口适配层用于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；存储层用于进行与当前存储接口匹配的存储处理。本发明的方案，利用接口适配层自动匹配存储模式，根据匹配出的存储模式切换至相应的接口，并进行与当前存储接口匹配的存储处理；做到了：各种存储方式即插即用，不需要对现有的程序进行改动。

Description

一种文件存储系统及文件存储方法

技术领域

本发明涉及文件存储技术领域，具体涉及一种文件存储系统及文件存储方法。

背景技术

现有技术，文件存储方式是多种多种的，以满足不同使用习惯用户的需求。常见的文件存储方式有HDFS(Hadoop Distributed File System，分布式文件系统)，HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS可以实现流的形式访问文件系统中的数据。

此外，常见的文件存储方式还有SFTP(Secure File Transfer Protocol，安全文件传送协议)，SFTP可以为传输文件提供一种安全的加密方法。SFTP使用了加密传输认证信息和传输的数据，因此，使用SFTP的方式进行文件存储的安全性是比较高的。但是，由于这种传输方式使用了加密/解密技术，因此，传输效率偏低。

再者，常见的文件存储方式还有CEPH，CEPH是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将CEPH分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是CEPH的块设备存储，比较直观的是CEPH集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。CEPH相比其它存储方式的优点在于，它不单单是存储，同时还充分利用了存储节点的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于CEPH的良好设计，使得它不存在传统的单点故障的问题。

此外，常见的文件存储的方式还有LOCALSTORE文件存储方式，除此之外，文件存储方式还有其它方式，文件存储的方式是种类繁多的。基于不同的文件存储的方式有多不同，若在不同文件存储方式之间进行切换时，需要进行大面积的接口切换，并做相对应的重复工作，例如，开发工作，测试工作等等；而上述开发工作，测试工作将需要耗费大量的人力、物力和时间，如何对上述不同文件存储方式间的切换过程进行简化，是待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种文件存储系统及文件存储方法，用以解决现有不同文件存储方式间的切换过程需要耗费大量人力、物力和时间的问题。

为实现上述目的，本发明实施例提供一种文件存储系统，所述系统包括应用层、接口适配层和存储层；所述应用层，用于为能够产生网络流量的应用程序提供用户接口，并提供相应的网络应用服务；所述接口适配层创建于所述应用层和所述存储层之间，将与两种或两种以上的文件存储方式匹配的文件存储系统的对应接口封装至所述接口适配层，所述接口适配层用于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；在所述接口适配层根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上之后，所述存储层用于进行与当前存储接口匹配的存储处理。

可选地，所述接口适配层还用于检测当前存储服务器对应的存储模式，以便于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上。

可选地，所述接口适配层还用于根据预设的定时监测任务，在预设时间间隔内监测当前存储服务器对应的存储模式。

可选地，所述接口适配层还用于实时监测当前存储服务器对应的存储模式。

可选地，所述文件存储方式具体至少包括以下一项：HDFS分布式文件系统对应的文件存储方式、SFTP安全文件传送协议对应的文件存储方式、CEPH对应的文件存储方式、LOCALSTORE对应的文件存储方式，第一扩展方式对应的文件存储方式、第二扩展方式对应的文件存储方式。

与上述系统相匹配，本发明另一方面提供一种使用上述文件存储系统进行文件存储的方法，所述方法包括：根据创建于所述应用层和所述存储层之间的所述接口适配层检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；在所述接口适配层根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上之后，所述存储层用于进行与当前存储接口匹配的存储处理。

可选地，所述方法还包括：所述接口适配层检测当前存储服务器对应的存储模式，以便于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上。

可选地，所述接口适配层根据预设的定时监测任务，在预设时间间隔内监测当前存储服务器对应的存储模式。

可选地，所述接口适配层实时监测当前存储服务器对应的存储模式。

可选地，所述文件存储方式具体至少包括以下一项：HDFS分布式文件系统对应的文件存储方式、SFTP安全文件传送协议对应的文件存储方式、CEPH对应的文件存储方式、LOCALSTORE对应的文件存储方式，第一扩展方式对应的文件存储方式、第二扩展方式对应的文件存储方式。

本发明实施例具有如下优点：本发明实施例提供的一种文件存储系统及文件存储方法，能够做到：利用接口适配层自动匹配存储模式，根据匹配出的存储模式切换至相应的接口，并进行与当前存储接口匹配的存储处理；做到了：各种存储方式即插即用，不需要对现有的程序进行改动。

附图说明

图1为本发明实施例2提供的一种具体应用场景下的文件存储系统的结构示意图。

图2为本发明实施例3提供的一种文件存储方法的流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

根据本发明的实施例1，提供了一种文件存储系统。本发明实施例1提供的文件存储系统包括应用层、接口适配层和存储层；应用层，用于为能够产生网络流量的应用程序提供用户接口，并提供相应的网络应用服务；接口适配层创建于应用层和存储层之间，将与两种或两种以上的文件存储方式匹配的文件存储系统的对应接口封装至接口适配层，接口适配层用于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；在接口适配层根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上之后，存储层用于进行与当前存储接口匹配的存储处理；这样，本发明实施例1提供的文件存储系统，利用接口适配层自动匹配存储模式，根据匹配出的存储模式切换至相应的接口，并进行与当前存储接口匹配的存储处理；做到了：各种存储方式即插即用，不需要对现有的程序进行改动。

需要说明的是，本发明实施例1中提及到的应用层用于为能够产生网络流量的应用程序提供用户接口，并提供相应的网络应用服务。在上述过程中提及到的应用程序特指网络应用程序，能产生网络流量的应用程序，比如客户端的QQ、MSN、IE浏览器等，服务器端的Web服务、流媒体服务等。而Windows XP记事本程序和计算器程序由于不产生网络流量，所以它们不属于应用层。

在一个可选的例子中，接口适配层还用于检测当前存储服务器对应的存储模式，以便于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上。

在一个可选的例子中，接口适配层还用于根据预设的定时监测任务，在预设时间间隔内监测当前存储服务器对应的存储模式。其中，预设的定时监测任务所设置的预设时间间隔可以根据具体应用场景中需要设定的时间间隔来进行设置，预设时间间隔可以为一个小时，或者预设时间间隔可以为3个小时，在此不做具体的限制。

在一个可选的例子中，接口适配层还用于实时监测当前存储服务器对应的存储模式。相对于上述接口适配层预设时间间隔内监测当前存储服务器对应的存储模式而言，为了更加准确地监测到当前存储服务器对应的存储模式，若预设的时间间隔设置的时间间隔过长，则接口适配层监测到的当前存储服务器对应的存储模式可能存在滞后性，若接口适配层实时监测当前存储服务器对应的存储模式，则接口适配层能够精准地检测到当前存储服务器对应的存储模式，以便于实时地根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上，接口适配层做到了实时监测并响应。

在一个可选的例子中，文件存储方式具体至少包括以下一项：HDFS分布式文件系统对应的文件存储方式、SFTP安全文件传送协议对应的文件存储方式、CEPH对应的文件存储方式、LOCALSTORE对应的文件存储方式，第一扩展方式对应的文件存储方式、第二扩展方式对应的文件存储方式。上述仅仅示例性地列举了常用的文件存储方式，并没有穷举。现有技术中涉及到的文件存储方式均在本发明实施例1所要保护的范围内，在此不再赘述。

需要说明的是，常见的文件存储方式有HDFS(Hadoop Distributed File System，分布式文件系统)，HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS可以实现流的形式访问文件系统中的数据。

此外，常见的文件存储方式还有SFTP(Secure File Transfer Protocol，安全文件传送协议)，SFTP可以为传输文件提供一种安全的加密方法。SFTP使用了加密传输认证信息和传输的数据，因此，使用SFTP的方式进行文件存储的安全性是比较高的。但是，由于这种传输方式使用了加密/解密技术，因此，传输效率偏低。

再者，常见的文件存储方式还有CEPH，CEPH是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将CEPH分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是CEPH的块设备存储，比较直观的是CEPH集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。CEPH相比其它存储方式的优点在于，它不单单是存储，同时还充分利用了存储节点的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于CEPH的良好设计，使得它不存在传统的单点故障的问题。

综上所述，本发明实施例1提供的一种文件存储系统，具有以下有益效果：

1、利用接口适配层自动匹配存储模式，根据匹配出的存储模式切换至相应的接口，并进行与当前存储接口匹配的存储处理；做到了：各种存储方式即插即用，不需要对现有的程序进行改动。

2、有效地提高了开发效率，将在可知的存储方式收编至接口适配层，可以应付各种存储方式的变更，节省开发时间，减少计算机程序中的错误的产出，也使得架构更加明了。

3、解决多种存储模式混搭的情况，比如，存储服务器利用HDFS模式，而接入外接存储池后利用的是CEPH，这样，如果没有适配层的工作，存储系统将不能正常的进行存储。利用适配层后可自动匹配存储模式，切换接口并进行存储匹配。

4、接口适配层可做到在检测到存储服务器对应的存储模式发生切换后，接口适配层可做到实时响应，不影响应用层的使用。

实施例2

根据本发明的实施例2，还提供了一种具体应用场景下的文件存储系统，如图1所示，为本发明实施例2提供的一种具体应用场景下的文件存储系统的结构示意图。

如图1所示，本发明实施例2提供的一种文件存储系统包括应用层、接口适配层和存储层；应用层，用于为能够产生网络流量的应用程序提供用户接口，并提供相应的网络应用服务；接口适配层创建于应用层和存储层之间，将与两种或两种以上的文件存储方式匹配的文件存储系统的对应接口封装至接口适配层，接口适配层用于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；在接口适配层根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上之后，存储层用于进行与当前存储接口匹配的存储处理。

如图1所示，文件存储方式是多种多样的，常见的具体包括以下几种：HDFS分布式文件系统对应的文件存储方式、SFTP安全文件传送协议对应的文件存储方式、CEPH对应的文件存储方式、LOCALSTORE对应的文件存储方式，扩展1对应的文件存储方式、扩展2对应的文件存储方式。上述仅仅示例性地列举了常用的文件存储方式，并没有穷举。现有技术中涉及到的文件存储方式均在本发明实施例1所要保护的范围内，在此不再赘述。

本发明实施例2示出了具体应用场景下的文件存储系统，与本发明实施例1示出的文件存储系统相同的内容，烦请参见对实施例1的详细描述，在此不再赘述。

综上所述，本发明实施例2提供的一种文件存储系统，具有以下有益效果：

1、利用接口适配层自动匹配存储模式，根据匹配出的存储模式切换至相应的接口，并进行与当前存储接口匹配的存储处理；做到了：各种存储方式即插即用，不需要对现有的程序进行改动。

2、有效地提高了开发效率，将在可知的存储方式收编至接口适配层，可以应付各种存储方式的变更，节省开发时间，减少计算机程序中的错误的产出，也使得架构更加明了。

3、解决多种存储模式混搭的情况，比如，存储服务器利用HDFS模式，而接入外接存储池后利用的是CEPH，这样，如果没有适配层的工作，存储系统将不能正常的进行存储。利用适配层后可自动匹配存储模式，切换接口并进行存储匹配。

4、接口适配层可做到在检测到存储服务器对应的存储模式发生切换后，接口适配层可做到实时响应，不影响应用层的使用。

实施例3

根据本发明的实施例3，还提供了一种使用如实施例1或实施例2所述的文件存储系统进行文件存储的方法，如图2所示，为本发明实施例3提供的一种文件存储方法的流程示意图。所述方法至少包括以下步骤：

S201，根据创建于应用层和存储层之间的接口适配层检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；

S202，在接口适配层根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上之后，存储层用于进行与当前存储接口匹配的存储处理；这样，本发明实施例3提供的文件存储方法，利用接口适配层自动匹配存储模式，根据匹配出的存储模式切换至相应的接口，并进行与当前存储接口匹配的存储处理；做到了：各种存储方式即插即用，不需要对现有的程序进行改动。

在一个可选的例子中，所述方法还包括：接口适配层检测当前存储服务器对应的存储模式，以便于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上。

在一个可选的例子中，接口适配层根据预设的定时监测任务，在预设时间间隔内监测当前存储服务器对应的存储模式。其中，预设的定时监测任务所设置的预设时间间隔可以根据具体应用场景中需要设定的时间间隔来进行设置，预设时间间隔可以为一个小时，或者预设时间间隔可以为3个小时，在此不做具体的限制。

在一个可选的例子中，接口适配层实时监测当前存储服务器对应的存储模式。相对于上述接口适配层预设时间间隔内监测当前存储服务器对应的存储模式而言，为了更加准确地监测到当前存储服务器对应的存储模式，若预设的时间间隔设置的时间间隔过长，则接口适配层监测到的当前存储服务器对应的存储模式可能存在滞后性，若接口适配层实时监测当前存储服务器对应的存储模式，则接口适配层能够精准地检测到当前存储服务器对应的存储模式，以便于实时地根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上，接口适配层做到了实时监测并响应。

在一个可选的例子中，文件存储方式具体至少包括以下一项：HDFS分布式文件系统对应的文件存储方式、SFTP安全文件传送协议对应的文件存储方式、CEPH对应的文件存储方式、LOCALSTORE对应的文件存储方式，第一扩展方式对应的文件存储方式、第二扩展方式对应的文件存储方式。

本发明实施例3示出了与本发明实施例1或本发明实施例2文件存储系统对应的文件存储方法，与本发明实施例1或本发明实施例2示出的文件存储系统相同的内容，烦请参见对实施例1或实施例2的详细描述，在此不再赘述。

综上所述，本发明实施例3提供的一种文件存储方法，具有以下有益效果：

1、利用接口适配层自动匹配存储模式，根据匹配出的存储模式切换至相应的接口，并进行与当前存储接口匹配的存储处理；做到了：各种存储方式即插即用，不需要对现有的程序进行改动。

2、有效地提高了开发效率，将在可知的存储方式收编至接口适配层，可以应付各种存储方式的变更，节省开发时间，减少计算机程序中的错误的产出，也使得架构更加明了。

3、解决多种存储模式混搭的情况，比如，存储服务器利用HDFS模式，而接入外接存储池后利用的是CEPH，这样，如果没有适配层的工作，存储系统将不能正常的进行存储。利用适配层后可自动匹配存储模式，切换接口并进行存储匹配。

4、接口适配层可做到在检测到存储服务器对应的存储模式发生切换后，接口适配层可做到实时响应，不影响应用层的使用。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种文件存储系统，其特征在于，包括应用层、接口适配层和存储层；

所述应用层，用于为能够产生网络流量的应用程序提供用户接口，并提供相应的网络应用服务；

所述接口适配层创建于所述应用层和所述存储层之间，将与两种或两种以上的文件存储方式匹配的文件存储系统的对应接口封装至所述接口适配层，所述接口适配层用于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；

在所述接口适配层根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上之后，所述存储层用于进行与当前存储接口匹配的存储处理。

2.根据权利要求1所述的系统，其特征在于，所述接口适配层还用于检测当前存储服务器对应的存储模式，以便于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上。

3.根据权利要求2所述的系统，其特征在于，所述接口适配层还用于根据预设的定时监测任务，在预设时间间隔内监测当前存储服务器对应的存储模式。

4.根据权利要求2所述的系统，其特征在于，所述接口适配层还用于实时监测当前存储服务器对应的存储模式。

5.根据权利要求1-4任一项所述的系统，其特征在于，所述文件存储方式具体至少包括以下一项：

HDFS分布式文件系统对应的文件存储方式、SFTP安全文件传送协议对应的文件存储方式、CEPH对应的文件存储方式、LOCALSTORE对应的文件存储方式，第一扩展方式对应的文件存储方式、第二扩展方式对应的文件存储方式。

6.一种使用如权利要求1-5任一项所述的文件存储系统进行文件存储的方法，其特征在于，包括：

根据创建于所述应用层和所述存储层之间的所述接口适配层检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上；

在所述接口适配层根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上之后，所述存储层用于进行与当前存储接口匹配的存储处理。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述接口适配层检测当前存储服务器对应的存储模式，以便于根据检测到的当前存储服务器对应的存储模式调用至与当前存储模式匹配的存储接口上。

8.根据权利要求7所述的方法，其特征在于，

所述接口适配层根据预设的定时监测任务，在预设时间间隔内监测当前存储服务器对应的存储模式。

9.根据权利要求7所述的方法，其特征在于，

所述接口适配层实时监测当前存储服务器对应的存储模式。

10.根据权利要求6-9任一项所述的方法，其特征在于，所述文件存储方式具体至少包括以下一项：

HDFS分布式文件系统对应的文件存储方式、SFTP安全文件传送协议对应的文件存储方式、CEPH对应的文件存储方式、LOCALSTORE对应的文件存储方式，第一扩展方式对应的文件存储方式、第二扩展方式对应的文件存储方式。