CN106970854A - 一种对象存储系统中的逻辑处理服务器 - Google Patents

Abstract

本发明提供了一种对象存储系统中的逻辑处理服务器，包括：请求接收模块、请求解析模块、响应发送模块、数据加密模块、数据解密模块、数据编码模块、数据解码模块、元数据通信模块、数据存储模块。本发明所示出的一种对象存储系统中的逻辑处理服务器可对自用户发起的用户请求所指向的数据作加密处理，并在读取数据时对加密数据进行解密处理，从而提高了存放于磁盘中数据的安全性；同时，有效避免了采用三副本存储的方式进行存储，有效降低了数据存储所占用的磁盘存储空间。

Description

一种对象存储系统中的逻辑处理服务器

技术领域

本发明涉及对象存储技术领域，尤其涉及一种对象存储系统中的逻辑处理服务器。

背景技术

云存储主要为其租户提供数据存储服务，租户可在网络接入点进行数据上传、数据下载及管理操作。存储系统为了保证租户数据的可用性和可靠性(即如磁盘故障，服务器断电等不会导致数据无法访问或数据丢失)，通常会将数据复制为多个副本，并存储在多个存储节点上。这样，即使一块磁盘甚至一台服务器出现故障，都不会导致副本的全部丢失。

在现有技术中，对象存储系统都采用三副本的方式来存储数据。然而，三副本的方法存储数据存在存储效率太低的缺陷。为了存储一个文件，实际上将一个文件复制了三个副本，因此就需要占用三倍的磁盘存储空间，磁盘存储空间的利用率较低。举例来说，如果一个文件的大小是100M，那在三副本存储的情况下，实际上需要占用300M的磁盘存储空间。

三副本的方式进行数据存储过程中，需要使用逻辑处理服务器来执行数据的存储，并将实体数据与元数据(即描述数据的数据)分别保存在元数据存储集群中的元数据服务器以及数据存储集群中的数据服务器中。因此，现有技术中的逻辑处理服务器存在无法在保证数据被安全存储的同时又能降低对磁盘存储空间的占用度。

有鉴于此，有必要对现有技术中的一种对象存储系统中的逻辑处理服务器予以改进，以解决上述问题。

发明内容

本发明的目的在于公开一种对象存储系统中的逻辑处理服务器，用以实现对用户发送的用户请求所指向的数据进行安全且高效的保存进行引导，降低对象存储系统中磁盘存储空间的占用率，从而提高磁盘存储空间的使用效率，并提高数据的保密性。

为实现上述目的，本发明提供了一种对象存储系统中的逻辑处理服务器，包括：

用于接受用户请求的请求接收模块，

至少对用户请求的请求类型及请求内容进行解析的请求解析模块，

用于响应用户请求并执行反馈的响应发送模块，

对用户请求所包含的数据进行加密处理的数据加密模块，

对数据加密模块所生成的加密数据执行解密处理的数据解密模块，

对数据进行EC编码的数据编码模块，所述数据编码模块将数据切分为一组数据块及一组校验块；

用以结合数据块及校验块以执行数据恢复操作的数据解码模块，

用于与元数据服务器进行通信并全局信息的元数据通信模块，

用于具体执行数据存储操作的数据存储模块。

作为本发明的进一步改进，所述请求解析模块对用户发送的用户请求的请求类型进行判断，所述用户请求的请求类型包括：上传请求、下载请求或者管理请求。

作为本发明的进一步改进，所述数据编码模块对数据进行EC编码，并设置EC编码算法及EC编码参数。

作为本发明的进一步改进，所述EC编码参数为7+5、10+4或者28+4。

作为本发明的进一步改进，所述数据加密模块所采用的加密处理的算法为Shamir门限算法。

与现有技术相比，本发明的有益效果是：本发明所示出的一种对象存储系统中的逻辑处理服务器可对自用户发起的用户请求所指向的数据作加密处理，并在读取数据时对加密数据进行解密处理，从而提高了存放于磁盘中数据的安全性；同时，有效避免了采用三副本存储的方式进行存储，有效降低了数据存储所占用的磁盘存储空间。

附图说明

图1为包含本发明所示出的逻辑处理服务器的一种对象存储系统中的拓扑图；

图2为本发明一种对象存储系统中的逻辑处理服务器的拓扑图；

图3为逻辑处理服务器开启磁盘数据加密功能时的拓扑图；

图4为逻辑处理服务器开启磁盘数据加密功能时的具体流程图；

图5为逻辑处理服务器执行数据上传操作时的拓扑图；

图6为逻辑处理服务器执行数据上传操作时的具体流程图；

图7为逻辑处理服务器执行数据下载操作时的拓扑图；

图8为逻辑处理服务器执行数据下载操作时的具体流程图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

请参图1至图8所示出的本发明一种对象存储系统中的逻辑处理服务器100的一种具体实施方式。

参图1及图2所示，该对象存储系统中的逻辑处理服务器100，包括：请求接收模块101、请求解析模块102、响应发送模块103、数据加密模块104、数据解密模块105、数据编码模块106、数据解码模块107、元数据通信模块108、数据存储模块109。该逻辑处理服务器100部署于逻辑处理集群10中，逻辑处理集群10分别与元数据存储集群20及数据存储集群30相连。具体的，该逻辑处理集群10中包含多个逻辑处理服务器(即逻辑处理服务器100至逻辑处理服务器100i)。为简化表示，在本实施方式中，该元数据存储集群20中示出了元数据服务器201及元数据服务器202，该数据存储集群30中示出了数据服务器301及数据服务器302。

具体的，本实施方式中的请求接收模块101用于接受用户请求，并用于接收用户或者租户发送的HTTP请求，该HTTP请求包括HTTP请求的请求头和请求体。

请求解析模块102，用于对用户请求的请求类型及请求内容进行解析。该请求解析模块102对用户发送的用户请求的请求类型进行判断。具体的，所述用户请求的请求类型包括：上传请求、下载请求或者管理请求。请求解析模块102可以通过判断一个HTTP请求的请求头中包含的信息(例如，请求所指定访问的文件名、文件存储路径等数据)，从而判断出该HTTP请求所具体的请求类型。

响应发送模块103，用于响应用户请求并执行反馈。在逻辑处理服务器100完成具体的处理后(例如：数据上传操作、数据下载操作或者数据管理操作)，需要对用户发起的用户请求作出响应。具体的，对于数据上传操作及数据管理操作而言，由响应发送模块103向用户发送的响应为不包含请求体的HTTP响应；对于数据下载操作而言，由响应发送模块103向用户发送的响应为包含用户请求所指向的对象数据的HTTP响应。

数据加密模块104，用于对用户请求所包含的数据进行加密处理。当用户执行数据上传操作并且对数据作加密存储时，该数据加密模块104通过Shamir门限算法对需要上传的数据进行加密处理，并可在加密过程中产生一个密钥，并对请求所指向的数据作加密处理。

具体的，Shamir门限算法为了解决这样一个问题：一个密码箱的密码需要分成多个部分，由不同的人保存，只有大于一定数量的人联合起来，才能开启密码箱。Shamir门限算法的使用流程为：

设置门限参数：一个秘钥(K)共分为多少份(M)，需要多少人同时在场(N)才能恢复原始秘钥，具体的，N≤M；

通过Shamir门限算法，将密钥K分为M个密钥分片：K1,K2,…,KM；

在需要得到原始密钥的时候，至少需要N个密钥分片：K1,K2,…,KN，通过Shamir门限算法，即可得到原始的密钥。

数据解密模块105，用于对数据加密模块104所生成的加密数据执行解密处理。该数据解密模块105所执行的操作与数据加密模块104所执行的操作互为逆向操作，以得到原始数据。

数据编码模块106，用于对数据进行EC编码，所述数据编码模块106将数据切分为一组数据块及一组校验块。在EC编码完成后，一个完整的数据会被切分为一组数据块(数量不定)，并根据EC编码算法和编码参数，得到一组校验块。

数据解码模块107，用以结合数据块及校验块以执行数据恢复操作。

元数据通信模块108，用于与元数据存储集群20中的一个元数据服务器201或者多个元数据服务器进行通信并全局信息。该元数据通信模块108自请求解析模块102中调用经过解析后的用户请求的请求类型，并从元数据存储集群20中的具体的元数据服务器(例如元数据服务器201)中调用与该用户请求所对应的元数据，然后发送至响应发送模块103中，以对用户发送的用户请求作最终的响应。任一个元数据服务器中存储了用户的存储空间信息(即对象存储系统中的存储桶的描述信息)、存储空间配置(即EC编码的算法和编码参数)等全局信息。

数据存储模块109，用于具体执行数据存储操作。在对象存储系统中，实体数据均存储于位于底层的数据存储集群30中的一个或者多个数据服务器中。在本实施方式中，数据块、校验块及密钥切片均存储于数据存储集群30中的一个或者多个数据服务器中。

请参图3及图4所示，其揭示了逻辑处理服务器100开启磁盘数据加密功能的示例。

首先，执行图4中右侧的服务端的处理流程。

开始。

步骤201：服务端完成初始化和启动。对于一个对象存储系统来说，这包括部署和启动底层的元数据存储集群20和数据存储集群30，以及上层的逻辑处理集群10。在启动完成后，逻辑处理服务器100在固定的端口(对于HTTP请求而言，该端口为80端口)监听由租户或管理员发送来的用户请求。

步骤202：请求接收模块101接收到用户发送过来的请求。

步骤203：请求解析模块102解析并确认请求类型，即确认该请求为开启磁盘数据加密功能的请求。此外，该请求解析模块102还负责解析请求中指定的算法类型、加密参数和编码参数等信息。

步骤204：元数据通信模块108检查用户指定参数是否正确，并将数据设置到元数据服务器201中；

步骤205：在设置完成后，由响应发送模块103给用户返回设置成功的响应。

结束。

接下来，执行图4中左侧的租户开启磁盘数据加密功能后的处理流程。

开始。

步骤101：租户发送开启磁盘数据加密功能的请求到逻辑处理服务器100。该请求中包含了要设置的加密参数和编码参数。

步骤102：在服务端设置成功后，客户端接收到逻辑处理服务器100返回的已经成功开启磁盘数据加密的响应。

结束。

参图5与图6所示，其揭示了逻辑处理服务器100执行数据上传操作的示例。

首先，执行图5中右侧的服务端处理流程。

开始。

步骤401：服务端完成初始化和启动。对于对象存储系统而言，这包括部署和启动底层的元数据集群20和数据存储集群30，以及上层的逻辑处理集群。在启动完成后，逻辑处理服务器100在固定的端口(对于HTTP服务来说，通常是80端口)监听由租户或管理员发送来的请求。

步骤402：请求接收模块101负责接收用户发起的用户请求。

步骤403：请求解析模块102确认请求类型，即确认该请求为上传对象的操作。该请求解析模块102还负责解析用户要上传的存储空间，对象名称、上传文件大小等信息。

步骤404：在接收到用户发送的数据后，数据加密模块104随机生成一个密钥，记为K，并通过该密钥对数据D进行加密，得到加密之后的密文，记为ED。并根据加密参数将密钥切分为若干个密钥分片，记为K1,K2,…,KN。

步骤405：数据编码模块106根据编码参数，对加密之后的密文进行编码，得到一组编码之后的数据分片和校验分片(以下统称为数据分片)；记为ED1,ED2,…,EDN。

步骤406：数据存储模块109将数据分片和密钥分片按照一一对应的方式(<K1,ED1>,<K2,ED2>…<KN,EDN>)存储于后端的数据存储集群30中的一个或者多个数据服务器(即图5中标记有“□”的数据服务器)上。对于选定的数据服务器，每台数据服务器上面分别存放一组密钥分片和数据分片。

步骤407：上传请求处理完毕，响应发送模块103给用户返回上传成功的响应。

结束。

具体的存储路径不在专利保护的范围内，只要存储服务器能够在下载的时候返回对应的文件内容即可。例如，可根据对象名做哈希索引，得到128位的字符串，采用16进制表示(例如83bcc20a2af6fe69076e9f1ee4445a70)，取哈希串16进制的前3位作为目录，则将数据分配和密钥分配存储到：/data/83b/object.part1(即图5或者图7中的“key.part1”)和/data/83b/key.part1(即图5或者图7中的“data.part1”)。

然后，执行图5中左侧的租户上传数据流程。

开始。

步骤301：租户发送上传请求到逻辑处理服务器100，上传请求包括请求头和请求体(请求头标识了这个请求是上传请求，请求体中包含了要上传的数据)。

步骤302：在服务端成功处理上传请求后，客户端接收到逻辑处理服务器100返回的已经成功上传数据的响应。

结束。

在本实施方式中，数据上传逻辑要涉及到的处理模块参见附图5。由图可见，上传逻辑的核心部分均在逻辑处理服务器100中处理，涉及到请求接收模块101、数据加密模块104、数据编码模块106和数据存储模块109；最终数据(包括数据块、校验块和密钥分片)均存储于数据器存储集群30中。

参图7与图8所示，其揭示了逻辑处理服务器100执行数据下载操作时的示例。

数据下载逻辑要涉及到的模块参见附图7。需要说明的是，图7中的数据存储集群30中标识出了一个用户要下载的数据的所有分片(即数据分片与密钥分片)可能存在于哪些机器上。其中，图7中数据存储集群30中的多个数据服务器中标记有“□”的数据服务器为存放有分片数据与密钥分片的数据服务器。

首先，执行图8中右侧的服务端处理流程。

开始。

步骤601：服务端完成初始化和启动。对于一个对象存储系统来说，这包括部署和启动底层的元数据集群20和数据存储集群30，以及上层的逻辑处理集群。在启动完成后，逻辑处理服务器100在固定的端口(对于HTTP服务来说，通常是80端口)监听由租户或管理员发送来的请求。

步骤602：请求接收模块101负责接收用户请求。

步骤603：请求解析模块102确认请求类型，即确认该请求为下载对象的操作；请求解析模块102还负责解析用户要下载对象的对象名，所属的存储空间等信息。

步骤604：逻辑处理服务器100的数据存储模块109根据用户请求中携带的信息(需要下载的文件名等)，得到需要从哪些数据服务器上读取分片数据。逻辑处理服务器100从对应的数据服务器(即图7中数据存储集群30中的多个数据服务器中标记有“□”的数据服务器)上读取到数据分片和对应的密钥分片(<K1,ED1>,<K2,ED2>,…,<KM,EDM>)。

步骤605：数据解码模块107将根据读出来的数据分片，解码得到完整的加密之后的数据ED。

步骤606：数据解密模块105根据密钥分片计算完整的密钥K，再将解密之后的数据计算得到原始数据D。

步骤607：下载请求处理完毕，响应发送模块103给用户返回下载成功的响应，该响应包含了用户请求的数据D。

结束。

然后，执行图8中左侧的租户下载数据流程。

开始。

步骤501：租户发送下载数据的请求到逻辑处理服务器100。

步骤502：在服务端成功处理上传请求后，客户端接收到逻辑处理服务器100返回的已经成功上传数据的响应。

结束。

在本实施方式中，为了解决磁盘空间浪费严重的问题，该数据存储集群30以纠删码存储(EC,Erasure Coding)方式对数据进行存储，通过设置纠删码的编码参数，可以配置数据的存储方式。

具体来说，如果设置纠删码的参数为10+4，则对于一个100M的文件，首先会拆分为10个10M的数据块，再通过纠删码算法(如RS纠删码等)进行编码，得到4块10M的校验块，并将这些数据块和校验块写到14块不同的磁盘上。采用这种方式，只要14块数据中有10块以上的数据存在，即可恢复原数据(即系统容忍4块磁盘损坏)。采用纠删码编码方式，可以在不损失数据可靠性和可用性的情况下，大大提高存储效率。纠删码的参数也可设置为7+5或者28+4。

在可靠性要求较高的场合，租户会要求存储于磁盘的数据是加密存储的，既使有人窃取到磁盘上的数据(例如当一块磁盘损坏被丢弃后落入他人之手)，由于磁盘数据是加密过的密文，也无法得到原始的数据。

要实现数据加密，可由租户提供一个加密密钥(或由服务器生成一个加密密钥)，在将数据写入到磁盘时，采用一种加密算法，再基于加密密钥，对数据进行加密后写入磁盘；在将数据从磁盘读出时，对数据进行解密。在磁盘上存放的永远是加密之后的数据，因此提高了对象存储系统中数据存储的安全性。

需要说明的，在本说明书中，术语“用户”与术语“租户”具有等同的技术含义。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种对象存储系统中的逻辑处理服务器，其特征在于，包括：

用于接受用户请求的请求接收模块(101)，

至少对用户请求的请求类型及请求内容进行解析的请求解析模块(102)，

用于响应用户请求并执行反馈的响应发送模块(103)，

对用户请求所包含的数据进行加密处理的数据加密模块(104)，

对数据加密模块所生成的加密数据执行解密处理的数据解密模块(105)，

对数据进行EC编码的数据编码模块(106)，所述数据编码模块(106)将数据切分为一组数据块及一组校验块；

用以结合数据块及校验块以执行数据恢复操作的数据解码模块(107)，

用于与元数据服务器进行通信并全局信息的元数据通信模块(108)，

用于具体执行数据存储操作的数据存储模块(109)。

2.根据权利要求1所述的对象存储系统中的逻辑处理服务器，其特征在于，所述请求解析模块(102)对用户发送的用户请求的请求类型进行判断，所述用户请求的请求类型包括：上传请求、下载请求或者管理请求。

3.根据权利要求1所述的对象存储系统中的逻辑处理服务器，其特征在于，所述数据编码模块(106)对数据进行EC编码，并设置EC编码算法及EC编码参数。

4.根据权利要求3所述的对象存储系统中的逻辑处理服务器，其特征在于，所述EC编码参数为7+5、10+4或者28+4。

5.根据权利要求1所述的对象存储系统中的逻辑处理服务器，其特征在于，所述数据加密模块(104)所采用的加密处理的算法为Shamir门限算法。