CN107566463A - 一种提高存储可用性的多云存储管理系统 - Google Patents

Abstract

本发明提供了一种提高存储可用性的多云存储管理系统，针对目前云存储上传接口以及多个云存储数据管理中的不足之处，本发明提出了一种提高存储可用性的多云存储数据管理系统，提高数据可靠性，优化上传速率，消除云存储的重复数据，提供方便的目录结构管理。

Description

一种提高存储可用性的多云存储管理系统

技术领域

本发明涉及本发明涉及互联网技术领域，特别涉及一种提高存储可用性的多云存储管理系统。

背景技术

云存储作为一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

云存储服务为客户提供可靠，可扩展和低成本的数据托管功能，越来越多的企业和组织将其全部或部分数据托管到云中，以降低IT维护成本(包括硬件，软件和运营成本)并提高数据可靠性，典型的使用示例包括存储备份数据和在线数字媒体，例如，美国国会图书馆将其数字化内容转移到云端。

然而，仅仅依赖于特定的云存储提供商有一些潜在的严重问题。首先，它可能导致供应商锁定问题，用户完全受某个供应商的限制，并且更换供应商成本较大。第二，瞬时故障导致服务暂时不可用，或永久故障导致数据丢失，比如2012年电力问题导致亚马逊服务不可用。因此，使用多个云存储提供商是为云存储系统提供更好的可用性的有效方法。

目前已存在统一多个云存储接口的实现，如Apache Libcloud，它是一个Python库，掩盖了不同云存储提供商接口之间的差异，允许通过统一的接口来管理不同的云资源。然而，Apache Libcloud没有提供元数据信息管理，不能消除云存储端的重复数据；云存储服务中的对象存储采用扁平的数据组织结构，往往是两层或者三层，没有提供一个方便用户查看的目录结构；另外，统一接口没有考虑到上传大文件时，使用云存储普通上传接口导致传输时间较长的问题，受网络状况影响还会造成上传文件失败，影响服务质量和系统的可用性。

以上中可以看出，使用云存储可为企业或个人提供数据存储服务，并降低了维护成本，但是现有技术中仍存在以下问题：首先，仅仅使用单个云存储提供商，存在供应商锁定问题，服务中断导致不可用的情况也会有发生；其次，现有的工作虽然已存在多个云存储提供商的统一操作接口，但忽略了云存储普通上传文件接口性能问题；对于大文件存在传输时间较长的问题，受网络状况影响还会造成上传失败的情况，从而使上传文件接口服务质量下降；此外，现有的云存储服务中没有提供元数据管理，不能解决云存储端的重复数据问题。云存储服务中的对象存储采用扁平的数据组织结构，往往是两层或者三层，没有提供一个方便用户查看的目录结构。

发明内容

针对目前云存储上传接口以及多个云存储数据管理中的不足之处，本发明提出了一种提高存储可用性的多云存储数据管理系统。提高数据可靠性，优化上传速率，消除云存储的重复数据，提供方便的目录结构管理，是本发明的目标。

本发明相对于现有技术中的存储系统有如下的特点和优势：

(1)采用多个云存储，实现云际的数据冗余，提高数据的可靠性。同时，通过制定统一接口标准，不同云存储操作功能按照接口标准做相应的实现，掩盖了不同云存储接口的差异性，对新加入的云存储供应商也具有良好的可扩展性。

(2)对于小文件上传，使用云存储中的普通上传文件接口依然可行；对于大文件上传，使用云存储中的分块上传文件接口，通过并发对接口进行优化，提高上传文件接口的服务质量。

(3)通过对文件内容进行元数据信息管理，以哈希MD5值作为唯一的文件内容标识，避免重复数据上传，消除云存储端重复数据，减少存储成本。

(4)实现目录管理结构，为用户提供了方便的目录管理接口，解决了对象存储服务中没有嵌套文件夹的问题。

附图说明

图1为本发明的多云存储系统的结构图。

图2为本发明上传操作的流程图。

图3A，图3B为本发明下载操作的流程图。

图4为本发明删除操作的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明的一种利用多云存储提高存储数据可靠性和存储性能的系统，包括多云存储模块，元数据管理模块，RPC远程调用模块。

其中，多云存储模块负责与多个不同的底层云存储提供商进行交互，通过制定一组多云存储接口标准，多个不同的不同云存储提供商的操作接口按照标准格式实现，解决了与不同云存储提供商接口之间进行数据传送的问题；对于大文件上传接口的实现，采用多线程分块上传的方式进行优化，提高了上传效率。多云存储模块作为底层驱动，为元数据管理模块提供统一的上传文件、下载文件、和删除文件云存储服务接口；

元数据管理模块接收RPC远程调用模块的操作请求，生成元数据信息和目录信息，并调用多云存储模块的多云存储接口，实现文件上传、下载或删除的具体操作，同时，元数据管理模块负责接收多云存储模块执行操作的返回信息，并将执行结果返回给RPC远程调用模块，其中，元数据信息记录了文件数据的哈希MD5值，为防止数据重复上传提供支持；目录信息通过Linux文件系统实现，为用户提供了方便的目录管理接口；

RPC远程调用模块提供RPC远程调用接口，作为服务器，为客户端提供调用接口，当客户端有请求到来时，RPC远程调用模块接收请求，并将请求消息下发给元数据管理模块处理，同时接收元数据管理模块的返回信息，并将结果返回给客户端。

多云存储管理系统的工作流程为：

S1.客户端调用RPC远程调用模块提供的接口来请求操作，RPC远程调用模块接收到客户端的请求后，将请求消息下发给元数据管理模块处理；

S2.元数据管理模块接收RPC远程调用模块的操作请求，生成相应的元数据信息和目录信息，并调用多云存储模块提供的多云存储接口，实现文件上传、下载或删除的具体操作。其中，元数据信息记录了文件数据的哈希MD5值、文件存储在哪几个云存储端、上传重复次数、以及上传时间，为防止数据重复上传和文件管理提供支持；上传、下载或删除文件时，通过查看这些文件元数据信息中存储的云存储端，并调用多云存储模块提供的统一操作接口，实现多云存储的操作功能；获取文件目录结构时，通过调用Python接口获取在Linux文件系统中已建立的目录，方便目录查看和管理；

S3.多云存储模块接收元数据管理模块的操作请求，负责与底层云存储提供商进行交互，通过制定一组多云存储接口标准，不同云存储提供商的操作接口按照标准格式实现，掩盖不同云存储提供商接口之间的差异；对于大文件上传接口的实现，采用多线程分块上传的方式进行优化，提高了上传效率；多云存储模块作为底层驱动，为元数据管理模块提供统一的上传文件、下载文件、和删除文件云存储服务接口；

S4.多云存储模块完成文件上传、下载或删除的具体操作后，将执行结果依次返回给元数据管理模块和RPC远程调用模块，并最终返回给客户端。

在本发明的多云存储模块中包括统一云存储接口，其中设置了一组多云存储标准接口，包括接口名称，参数名，返回内容；统一了不同云存储提供商操作接口制定的标准格式，对不同云存储提供商的操作接口进行了一层封装。

本发明的多云存储模块中的接口包括：用户认证接口，连接云存储提供商并调用其服务，需要提供访问秘钥，以及存储地区等信息，此接口主要功能是与云存储提供商进行认证连接，认证连接之后将拥有使用其他操作接口的权限；普通上传文件接口，将本地文件上传到云存储提供商进行存储；分块上传文件接口，将本地文件分块上传到云存储提供商进行存储；下载文件接口，获取文件再云存储中的url链接，通过访问此链接，即可从云存储中下载文件；删除文件接口，将云存储中的文件删除；文件列表接口，获取存储在云端的文件列表。

一实施例中，普通上传文件接口标准设置为：

方法名：upload；

参数：cloud_path，存储在云端的文件路径；local_path，上传文件所处的本地路径；

返回值：包括返回状态status，错误信息err_msg，返回结果res三部分。如果上传成功status＝0，上传失败status＝1，并将错误信息放入err_msg中；

本系统中已经实现的云存储提供商包括阿里云，百度云，金山云等。当有新的云存储供应商加入时，只需要按照本发明中设置的云存储接口标准，进行接口的实现即可，因此具有良好的扩展性。

在提高存储可用性的多云存储管理系统中对多线程分块上传优化，对于上传文件，云存储提供商提供的接口有两种，普通上传和分块上传。

普通上传最多只能上传小于或等于5GB的文件，而分块上传没有此限制。另外，普通上传存在传输时间长，以及受网络不稳定性影响导致与服务器端连接中断，导致传输失败等情况。因此，对于大文件的上传，考虑采用分块上传的方法，其步骤如下：

(1)初始化，获取上传文件ID，唯一标识此分块上传任务；

(2)上传分块，将文件分块依次上传到云存储端；

(3)完成上传，云存储端合并分块，生成整个对象文件。

本发明对上述分块上传步骤进行优化，将步骤(2)中分块依次上传改为多线程分块上传，将多个分块以并发的方式上传到云端，充分利用了网络带宽，提高了上传文件效率。

另外，对于不同云存储上传不同大小文件，设置不同的配置参数，包括文件分块大小以及并发线程个数，分别测试上传文件时间，得到最佳参数配置，构造一个云存储提供商和上传文件大小的参数配置表，每当有大文件需要进行分块上传时，查表获取最优分块大小和并发线程个数的配置参数，按照此配置进行上传，以达到最优效率。

对于不同大小的文件，采用普通上传接口和多线程分块上传接口进行多次试验表明，对于100M以内的文件，两个接口上传花费时间基本相同，对于大于100M的文件，多线程分块上传比普通上传花费的时间少，因此限定100M以内的文件是小文件，超过100M的文件是大文件。

本发明中，如图2所示，多线程分块上传的步骤为：

1)测试在不同参数配置下，不同云存储上传不同大小文件的传输时间，选取最优传输时间的参数配置，构造一个参数配置表。

2)对于大文件，根据文件大小，得到配置表中的最优配置参数。

3)调用云存储商提供的接口，获取唯一的上传文件ID。

4)将大文件按照配置参数切分成数据块，采用多线程编程实现数据块的并发上传。

5)所有数据块上传完成后，调用云存储商提供的接口，使已经上传到云存储端的数据块自动合并。

本发明的中的元数据管理模块对元数据信息进行管理，其中文件内容的元数据信息存储在数据库中，所述信息包括文件内容的哈希MD5值，存储的公有云的位置，文件大小，以及上传重复次数等。

本发明中上传文件的步骤为：

1)接收RPC远程调用模块的上传文件操作请求；

2)计算文件内容的哈希MD5值；

3)根据此哈希MD5值，从元数据信息保存的数据库中查询是否已经存在相同哈希MD5值的元数据信息，如果查找到某条元数据信息中已经存在此哈希MD5值，将此条元数据信息中上传重复次数属性加1，如果元数据信息中不存在此哈希MD5值，则创建一条新的元数据信息记录，保存哈希MD5值信息；

4)调用多云存储模块提供的上传文件操作接口，将此文件上传到多个云存储端进行冗余存储；

5)在Linux文件系统中创建对应的文件目录，文件中写入数据的哈希MD5值；

6)将上传结果返回给RPC远程调用模块。

在一个文件上传到云存储端之前，首先计算文件内容的哈希MD5值，通过查找所有元数据信息中是否存在此哈希MD5值，判断是否已经上传过相同内容的文件，或者说云存储端是否已经存储了相同内容的文件。如果查找到某条元数据信息中已经存在此哈希MD5值，表示已经上传过相同内容的文件，为了避免重复上传相同数据内容，仅需要修改此条元数据信息，将上传重复次数加1，表示此数据内容又多了一条引用，而不用再将此数据上传到云存储端。仅当上传重复次数为0，也就是说此条数据内容已经没有被引用，则将云存储端的此条数据内容删除。如果元数据信息中不存在此哈希MD5值，说明云端没有存储相同内容的文件，需要创建一个新的元数据信息进行记录，并将文件上传到多个云存储端。

上传文件过程中通过对元数据信息的管理，可判断云存储端已存在相同内容的文件，防止重复数据上传，减少存储成本。

如图3A，图3B所示，本发明中下载文件的步骤为：

1)接收RPC远程调用模块的下载文件操作请求；

2)根据要下载文件的请求路径，在Linux文件系统中找到此文件，读取文件中存入的哈希MD5值；

3)根据此哈希MD5值，从元数据信息保存的数据库中查询得到此文件的元数据信息，进而得到此文件所存储的云存储端；

4)调用多云存储模块提供的下载文件操作接口，得到此文件在云存储端的URL链接；

5)将URL链接返回给RPC远程调用模块。

如图4所示，本发明中删除文件的步骤为：

删除文件过程：

1)接收RPC远程调用模块的删除文件操作请求；

2)根据要下载文件的请求路径，在Linux文件系统中找到此文件，读取文件中存入的哈希MD5值；

3)根据此哈希MD5值，从元数据信息保存的数据库中查询得到此文件的元数据信息，进而得到此文件已上传的重复次数属性值；

4)如果重复次数属性值大于1，则将其减1；如果重复次数属性值等于1，则取得元数据信息中记录的此文件所存储的云存储端，调用多云存储模块的删除文件操作接口，删除云存储端的文件，并将此条元数据信息删除；

5)删除Linux文件系统中此条文件目录；

6)将执行结果返回给RPC远程调用模块。

在本发明的元数据管理模块中，实现对文件目录的维护和管理。由于对象存储没有嵌套的文件夹，而是采用扁平的数据组织结构，往往是两层或者三层。以阿里云的对象存储OSS为例，每个用户可以把他的存储空间划分为容器，然后往每个容器里面存放对象，然而对象不能直接存储在用户的根存储空间里，必须放到某个容器下面，而不能嵌套。也就是说，容器下面不能再放一层容器，只能放置对象。

为了解决上述问题，本发明中维护一个文件目录结构，其通过Linux文件系统实现目录管理，根据Python提供的文件和文件夹操作接口和Linux文件系统进行交互。具体方法如下：根据用户名，为每个用户创建一个文件夹，每个文件夹相互独立，从而实现每个用户目录结构的独立性；上传文件时，根据用户自定义的保存路径，在用户目录下建立相应的文件夹和文件，文件中没有真实的数据内容，也就是说文件中存储的不是用户上传的文件内容，而是文件内容的哈希MD5值，通过这个哈希MD5值，可以从数据库中查询到此文件的元数据信息；当用户需要查看某个文件夹下面的内容时，只需要通过程序接口访问Linux文件系统中的特定目录，并返回目录下的文件名即可。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种提高存储可用性的多云存储管理系统，其特征在于，包括：包括多云存储模块，元数据管理模块，RPC远程调用模块；所述多云存储模块通过统一云存储接口与多个不同的底层云存储提供商进行交互，为所述元数据管理模块提供统一的上传、下载和删除操作的云存储服务接口；所述元数据管理模块接收RPC远程调用模块的操作请求，生成元数据信息和目录信息，调用所述多云存储模块的统一云存储接口，实现上传、下载或删除操作，接收多云存储模块执行操作的返回信息，将执行结果返回给所述RPC远程调用模块，所述元数据信息记录了文件数据的哈希MD5值，为防止数据重复上传提供支持，所述目录信息通过Linux文件系统实现，为用户提供了方便的目录管理接口；所述RPC远程调用模块提供RPC远程调用接口，接收客户端的请求，将请求消息发给所述元数据管理模块处理，同时接收所述元数据管理模块的返回信息，并将结果返回给客户端。

2.如权利要求1所述的多云存储管理系统，其特征在于，所述元数据管理模块实现大文件的多线程分块上传，所述多线程分块上传步骤包括：步骤1)，测试在不同参数配置下，不同云存储上传不同大小文件的传输时间，选取最优传输时间的参数配置，构造一个参数配置表；步骤2)，对于大文件，根据文件大小，得到配置表中的最优配置参数；步骤3)，调用云存储商提供的接口，获取唯一的上传文件ID；步骤4)，将大文件按照配置参数切分成数据块，采用多线程编程实现数据块的并发上传；步骤5)，所有数据块上传完成后，调用云存储商提供的接口，使已经上传到云存储端的数据块自动合并。

3.如权利要求2所述的多云存储管理系统，其特征在于，所述元数据管理模块对文件进行上传至云存储端之前，首先计算文件内容的哈希MD5值，通过查找所有元数据信息中是否存在此哈希MD5值，判断是否已经上传过相同内容的文件，或者云存储端是否已经存储了相同内容的文件；如果查找到某条元数据信息中已经存在此哈希MD5值，表示已经上传过相同内容的文件，为了避免重复上传相同数据内容，仅需要修改此条元数据信息，将上传重复次数加1；当上传重复次数为0，则将云存储端的此条数据内容删除；如果元数据信息中不存在此哈希MD5值，则创建一个新的元数据信息进行记录，并将文件上传到多个云存储端。

4.如权利要求1所述的多云存储管理系统，其特征在于，下载操作的步骤为：S1，接收RPC远程调用模块的下载文件操作请求；S2，根据要下载文件的请求路径，在Linux文件系统中找到此文件，读取文件中存入的哈希MD5值；S3，根据所述哈希MD5值，从元数据信息保存的数据库中查询得到此文件的元数据信息，进而得到此文件所存储的云存储端；S4，调用多云存储模块提供的下载文件操作接口，得到此文件在云存储端的URL链接；S5，将URL链接返回给RPC远程调用模块。

5.如权利要求1所述的多云存储管理系统，其特征在于，删除操作的步骤为：S1，接收RPC远程调用模块的删除文件操作请求；S2，根据要下载文件的请求路径，在Linux文件系统中找到此文件，读取文件中存入的哈希MD5值；S3，根据此哈希MD5值，从元数据信息保存的数据库中查询得到此文件的元数据信息，进而得到此文件已上传的重复次数属性值；S4，如果重复次数属性值大于1，则将其减1；如果重复次数属性值等于1，则取得元数据信息中记录的此文件所存储的云存储端，调用多云存储模块的删除文件操作接口，删除云存储端的文件，并将此条元数据信息删除；S5，删除Linux文件系统中此条文件目录；S6，将执行结果返回给RPC远程调用模块。

6.如权利要求1所述的多云存储管理系统，其特征在于，所述多云存储管理系统通过Linux文件系统实现目录管理，根据Python提供的文件和文件夹操作接口和Linux文件系统进行交互，具体方法如下：根据用户名，为每个用户创建一个文件夹，每个文件夹相互独立，从而实现每个用户目录结构的独立性；上传文件时，根据用户自定义的保存路径，在用户目录下建立相应的文件夹和文件，文件中没有真实的数据内容，而是文件内容的哈希MD5值，通过这个哈希MD5值，可以从数据库中查询到文件的元数据信息；用户通过程序接口访问Linux文件系统中的特定目录，返回目录下的文件名，进行查看某个文件夹下面的内容。