CN106202396A - 对象存储方法和对象存储系统 - Google Patents

Abstract

本公开提供的对象存储方法，在客户端提交上载请求时，同时提交针对每个对象创建的副本个数，对象存储系统接收到该上载请求后，创建指定的副本个数，并将这些副本存储到多个存储空间，其中至少一个存储空间所在的磁盘和对象本体所在的磁盘不同。通过本公开实施例提供的对象存储方法，保证至少一个对象副本存储到和对象本体不同的磁盘中，防止由于单一磁盘的损坏导致副本和对象本体同时损坏。同时用户可以根据实际需要调整副本个数，由此在资源耗用和安全性之间实现较佳平衡。本公开同时提供对象存储系统。

Description

对象存储方法和对象存储系统

技术领域

本公开涉及云存储领域，具体涉及对象存储方法和对象存储系统。

背景技术

对象存储在互联网的大潮中受到了广发关注，并得到了迅速的发展。对象存储与文件存储不同，对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级，每一级的每个元素在存储系统中都有唯一的标识，用户通过这个标识来访问容器或者对象。采用扁平的数据组织结构抛弃了嵌套的文件夹，避免维护庞大的目录树。在大数据和互联网时代，存储的文件/对象超过上百万个，单位时间内的访问次数和并发访问量也达到了前所未有的量级，在这种情况下，目录树会给存储系统带来很大的开销和诸多问题，成为系统的瓶颈。另外一个让对象存储焕发生命力的因素是，对象存储不再提供POSIX兼容的接口(如open，close，read，write等)，而是可以非常方便地通过HTTPRestfulAPI接口和对象进行交互:通过PUT和GET进行上传下载，通过DELETE进行删除。

通常而言，为了保证数据的安全性，公有云对象存储都是采用分布式存储的方式，将用户数据复制到多个副本进行存储，从现有的方案来看，用户不能够选择被复制的副本个数，对于用户而言，有些数据是进行运算时临时产生并存储于公有云对象存储中的，可以接受相对较低的数据冗余度，比如从片源转码而来的视频成品文件，大部分时候是被作为CDN(Content Delivery Network，内容分发网络)节点的源站进行数据下载用的，CDN下载完了之后就没什么用了，就算是这部分文件丢失，也可非常方便的从片源再转码出来，因此用户对这部分数据的安全性要 求较低，在后台存储两份的SLA就能够满足用户了。而对于片源文件本身，用户则有非常高的冗余度要求，因为片源可能只有这唯一的一份，一旦丢失可能非常难找回，所以某些用户可能希望后台能保存4个副本，防止数据丢失。

发明内容

有鉴于此，本公开提供一种对象存储方法和对象存储系统，以满足用户希望创建对象的多个副本，提高数据安全性的要求。

根据本公开第一方面，本公开提供一种对象存储方法，包括：建立从客户端到对象存储系统的通信连接；接收第一对象的上载请求，所述上载请求包括副本个数；将所述第一对象存储到第一存储空间；获取所述第一存储空间所在的磁盘；根据所述副本个数创建所述第一对象的多个副本；以及将所述多个副本分别存储到多个存储空间；

其中，所述对象存储系统的每个所述对象都存储在一个所述存储空间中，所述多个存储空间的至少一个存储空间和所述第一存储空间所在的磁盘不同。

优选地，还包括：根据所述客户端的请求，减少副本个数。

优选地，还包括：根据所述客户端的请求，增加副本个数。

优选地，还包括：根据所述客户端的请求进行权限校验。

优选地，还包括：将所述副本的相关信息存储到数据库中。

优选地，通过关系型数据库存储所述副本信息。

根据本公开第二方面，本公开提供一种对象存储系统，包括：通信单元，用于和客户端建立通信连接；接收单元，用于接收第一对象的上载请求，所述上载请求包括副本个数；存储单元，用于将所述第一对象存储到第一存储空间；获取单元，用于获取所述第一存储空间所在的磁盘；副本管理单元，用于根据所述副本个数创建所述第一对象的多个副本，并将所述多个副本分别存储到多个存储空间，所述多个存储空间的至少一个存储空间和所述第一存储空间所在的磁盘不同。

优选地，所述副本管理单元还包括：根据客户端的请求，减少副本个数。

优选地，所述副本管理单元还包括：根据客户端的请求，增加副本个数。

优选地，所述对象存储系统还包括：校验单元，用于根据客户端的请求进行权限校验。

优选地，所述副本管理单元还包括：将所述副本的相关信息存储到数据库中。

优选地，通过关系型数据库存储所述副本信息。

本公开提供的对象存储方法，在客户端提交上载请求时，同时提交针对每个对象创建的副本个数，对象存储系统接收到该上载请求后，创建指定个数的副本，并将这些副本存储到多个存储空间，其中至少一个存储空间所在的磁盘和对象本体所在的磁盘不同。通过本公开实施例提供的对象存储方法，保证至少一个对象副本存储到和对象本体不同的磁盘中，防止由于单一磁盘的损坏导致副本和对象本体同时损坏。同时用户可以根据实际需要调整副本个数，由此在资源耗用和安全性之间实现较佳平衡。

附图说明

通过参照以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是根据本公开实施例的对象存储系统的部署示意图；

图2是根据本公开实施例的对象存储方法的流程图；

图3是根据本公开实施例的客户端和对象存储系统建立通信连接的示意图；

图4是根据本公开另一实施例的对象存储方法的流程图；

图5是根据本公开实施例的对象存储系统的流程图；

图6是根据本公开实施例的用于实现对象存储方法的终端设备的结 构图；

图7是根据本公开实施例的用于实现对象存储方法的计算机程序产品的结构示意图。

具体实施方式

以下基于实施例对本公开进行描述，但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

在本公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

图1是根据本公开实施例的对象存储系统的部署示意图。对象存储系统101和多个客户端对应。客户端可以是一个手机APP，或视频系统、电商系统的前端或后端程序。

对象存储系统101包括一个集中式管理的高速存储网络，由供应商存储系统、存储管理软件、应用程序服务器和网络硬件组成。高速存储网络使用存储空间(bucket)和对象对数据进行存储。可以将bucket理解为容器，每个对象都存放在一个容器中，如图1中的102所示，高速存储网络将存储区域分为若干个bucket，每个bucket中存储有多个对象。bucket使用存储空间标识符作为唯一标识。

参考图1所示，102和103分别表示磁盘阵列集群中的两个磁盘，102存储有bucket1，bucket1中存储有第一对象，第二对象和第三对象，103中存储有bucket2和bucket3，bucket2中存储有第四对象和第一对象副本，bucket3中存储有第五对象。

第一对象副本的实现过程具体为：对象存储系统接收客户端发送的第一对象的上载请求，从请求中获取需要创建的副本个数，然后将第一对象存储到一个磁盘上的存储空间，接着创建指定个数的副本，并将副 本存储到多个存储空间中，并且保证这些存储空间的至少一个存储空间所在的磁盘和第一对象的磁盘不同。对象和对象副本至少存储在两个不同的磁盘上，保证不会因为单一磁盘的损坏导致所有的对象数据同时丢失，从而提高了数据的安全性。

优选地，在对象存储系统为每个用户创建存储空间时，将这些存储空间分布在不同的磁盘上，并记录这些存储空间和磁盘的对应信息，同时对象本体和副本以及存储空间的对应关系也保存下来，以便于在分配对象和副本到不同的磁盘中。

另外，由客户端提交副本个数，使用户根据数据的重要程度或实际需求决定副本数，提高数据的安全性，避免耗用过多的资源。

图2是根据本公开实施例的对象存储方法的流程图。所述对象存储方法包括步骤201-206。

在步骤201中，建立和客户端的通信连接。

在步骤201中，建立和客户端的通信连接。图3示出了一个手机APP和对象存储系统建立安全通信连接的过程。标记30为客户端，标记31为权限管理服务器，通过客户端访问权限管理服务器。当需要进行云端存储时，客户端通过步骤301向权限管理服务器发送一个云端授权请求，权限管理服务器接收后，向对象存储系统转发，对象存储系统进行校验后，返回临时授权ID或访问令牌(Access token)，权限管理服务器接收到该授权ID或访问令牌，返回给客户端。客户端将该授权ID或访问令牌缓存在本地，并通过该授权ID或访问令牌和对象存储系统进行通信连接。为了保证授权ID或访问令牌不被滥用或窃取，该类授权ID或访问令牌一般都设有时间限制，过了预定时间自动失效。

在步骤202中，接收第一对象的上载请求，所述上载请求包括副本个数。

在步骤203中，将第一对象存储到第一存储空间。

在步骤204中，获取第一存储空间所在的磁盘。

在步骤205中，根据副本个数创建所述第一对象的多个副本。

在步骤206中，将多个副本分别存储到多个存储空间,至少一个存储 空间和第一存储空间所在的磁盘不同。

在步骤202-206中，对象存储系统根据客户端的请求，创建副本，并将至少一个副本保存到和对象本体不同的磁盘中。

在现有技术中，对象存储系统一般根据备份策略创建副本，保证数据安全。但对于某些场景下，由用户决定副本个数比较好，例如，如果某个对象数据只是临时备用数据，不需要创建副本，或者某些数据非常重要，要多个副本。用户提供选择，而对象存储系统将对象本体和至少一个副本所在的磁盘分开，以此保证单一磁盘的损坏不会影响到数据安全性。

在某些场景下，对象存储系统会根据客户端的用户请求，增加或删除副本个数。

例如，对象存储系统收到对象的上载请求之后，取出用户需要复制的副本个数R，并在集群中找出R块磁盘，将用户的数据写入，成功之后返回给用户。过段时间，对象存储系统收到用户变更副本个数的请求，若用户申请将原有的副本个数R变更为R’，则对象存储系统首先对用户的权限进行权限校验，如果权限没有问题(例如，客户端的用户为对象的拥有者)，则根据R和R’的大小关系做以下处理：

如果R<R’，即用户要求提高副本数，则在集群中找一块磁盘，负责多一份数据；

如果R＝R’，可直接返回成功；

如果R>R’，则删除其中多余的R’-R个副本。

通过本公开实施例提供的对象存储方法和对象存储系统，保证至少一个对象副本存储到和对象本体不同的磁盘中，防止由于单一磁盘损坏导致副本和对象本体同时损坏。同时用户可以根据实际需要调整副本个数，由此在资源耗用和安全性之间实现较佳平衡。

图4是根据本公开另一实施例的对象存储方法的流程图。图4的实施例和图2的实施例的区别在于，增加了步骤407，即将副本的相关信息存储到数据库中。因为如果在对象存储系统存储有多个副本，需要考虑副 本管理的问题。优选地，通过一个数据库系统存储副本的相关信息，这些相关信息包括：副本名称、所属的存储空间、所在的磁盘等信息。一旦某个磁盘出现问题，可以直接从和它不同的磁盘上读取副本。此方法能够更快地找到副本。

图5是根据本公开实施例的对象存储系统的流程图。参考图5，对象存储系统包括通信单元500、接收单元501、存储单元502、获取单元503和副本管理单元504。

通信单元500和客户端建立通信连接。建立连接的过程包括，例如，首先接收客户端发送的安全通信连接请求，核验后向客户端发送临时授权ID或访问令牌，客户端通过该临时授权ID或访问令牌和通信单元500完成安全连接。接收单元501接收第一对象的上载请求，所述上载请求包括副本个数。存储单元502将第一对象存储到第一存储空间。获取单元503获取第一存储空间所在的磁盘。副本管理单元504根据副本个数创建第一对象的多个副本，并将多个副本分别存储到多个存储空间，多个存储空间的至少一个存储空间和第一存储空间所在的磁盘不同。

可选地，上述的对象存储系统还包括校验单元505，校验单元根据接收单元501接收到的上载请求进行客户端的权限校验。例如，客户端被对象存储系统赋予的权限包括：可以申请副本和不能申请副本，或者，客户端被赋予的权限能够申请的副本个数不同。通过校验单元505拒绝不满足权限的客户端。

图6是根据本公开实施例的用于实现对象存储方法的终端设备的结构图。参考图6，一种终端设备60，包括通过总线连接的至少一个处理器601和存储器602。存储器602存储有各种计算机指令，处理器601从存储器602中读取一组指令，执行该指令以完成以下的操作：建立和客户端的通信连接；接收第一对象的上载请求，上载请求包括副本个数；将第一对象存储到第一存储空间；获取第一存储空间所在的磁盘；根据副本个数创建第一对象的多个副本；以及将多个副本分别存储到多个存储空间；其中，多个存储空间的至少一个存储空间和第一存储空间所在的磁盘不 同。

图7是根据本公开实施例的用于实现对象存储方法的计算机程序产品的结构示意图。如图7所示，本公开实施例的计算机程序产品70，可以包括信号承载介质701。信号承载介质701为指令载体，可以包括一个或多个指令7011，指令7011在被例如处理器执行时，可以完成上述实施例中描述的功能。例如，指令7011被执行以完成以下的功能：建立和客户端的通信连接；接收第一对象的上载请求，上载请求包括副本个数；将第一对象存储到第一存储空间；获取第一存储空间所在的磁盘；根据副本个数创建第一对象的多个副本；以及将多个副本分别存储到多个存储空间；其中，多个存储空间的至少一个存储空间和第一存储空间所在的磁盘不同。

在一些实现中，信号承载介质701可以包括计算机可读介质7012，诸如但不限于硬盘驱动器、压缩盘(CD)、数字通用盘(DVD)、数字带、存储器等。在一些实现中，信号承载介质701可以包括可记录介质7013，诸如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实现中，信号承载介质701可以包括通信介质7014，诸如但不限于数字和/或模拟通信介质(例如，光纤线缆、波导、有线通信链路、无线通信链路等)。

本公开实施例的计算机程序产品，建立从客户端到云服务端的通信连接；建立和客户端的通信连接；接收第一对象的上载请求，上载请求包括副本个数；将第一对象存储到第一存储空间；获取第一存储空间所在的磁盘；根据副本个数创建第一对象的多个副本；以及将多个副本分别存储到多个存储空间；其中，多个存储空间的至少一个存储空间和第一存储空间所在的磁盘不同。计算机程序产品将对象的副本存储到不同磁盘上的存储空间里，保证了单一磁盘的损坏不会影响到数据安全性，从而提高了数据的安全。

附图中的流程图、框图图示了本公开实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个、程序段或仅仅是一段代码，所述、程序段和代码都是用来实现规定逻辑 功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

系统的各个或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本公开实施例的步骤以及步骤的顺序，但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。

根据本公开的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。

以上所述仅为本公开的优选实施例，并不用于限制本公开，对于本领域技术人员而言，本公开可以有各种改动和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种对象存储方法，包括：

建立和客户端的通信连接；

接收第一对象的上载请求，所述上载请求包括副本个数；

将所述第一对象存储到第一存储空间；

获取所述第一存储空间所在的磁盘；

根据所述副本个数创建所述第一对象的多个副本；以及

将所述多个副本分别存储到多个存储空间；

其中，所述多个存储空间的至少一个存储空间和所述第一存储空间所在的磁盘不同。

2.根据权利要求1所述的对象存储方法，还包括：根据所述客户端的请求，减少副本个数。

3.根据权利要求1所述的对象存储方法，还包括：根据所述客户端的请求，增加副本个数。

4.根据权利要求2或3所述的对象存储方法，还包括：对所述客户端的请求进行权限校验。

5.根据权利要求1所述的对象存储方法，还包括：将所述副本的相关信息存储到数据库中。

6.一种对象存储系统，包括：

通信单元，用于和客户端建立通信连接；

接收单元，用于接收第一对象的上载请求，所述上载请求包括副本个数；

存储单元，用于将所述第一对象存储到第一存储空间；

获取单元，用于获取所述第一存储空间所在的磁盘；

副本管理单元，用于根据所述副本个数创建所述第一对象的多个副本，并将所述多个副本分别存储到多个存储空间，所述多个存储空间的至少一个存储空间和所述第一存储空间所在的磁盘不同。

7.根据权利要求6所述的对象存储系统，所述副本管理单元还包括：根据客户端的请求，减少副本个数。

8.根据权利要求6所述的对象存储系统，所述副本管理单元还包括：根据客户端的请求，增加副本个数。

9.根据权利要求7或8所述的对象存储系统，所述对象存储系统还包括：校验单元，用于根据客户端的请求进行权限校验。

10.根据权利要求6所述的对象存储系统，所述副本管理单元还包括：将所述副本的相关信息存储到数据库中。